那些遇到过的问题

在下载资源时,有哪些策略可以使Dockerfile指令缓存无效

Mar*_*les 4 caching build docker dockerfile

我们的一些Docker镜像需要从Nexus服务器或Internet上下载更大的二进制文件,后者负责分发Java,Node.js,Mobile(Android和iOS)应用程序.例如,使用ADD或RUN指令进行下载.

RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
Run Code Online (Sandbox Code Playgroud)

考虑到命令"docker build"将根据文件的mtime查看指令和缓存,在构建这些图像时利用缓存机制的方法是什么,避免重新下载整个二进制文件？ /sf/answers/1862888611/.

另一个问题是如果资源发生变化,Docker将不会下载最新版本.

Mar*_*les 6

解

在使用"RUN curl"或ADD下载之前,Docker不会查看任何缓存机制.它将重复下载步骤.但是,如果文件的mtime已更改,Docker会使缓存无效,其中包括/sf/answers/1862888611/.https://github.com/docker/docker/blob/master/pkg/tarsum/versioning.go#L84

这是我在从文件存储或存储库(如Nexus)构建具有依赖关系的Dockerfiles时一直在努力解决此问题的策略,Amazon S3是从资源检索ETag,缓存它,以及修改缓存的mdtime-标志文件.(https://gist.github.com/marcellodesales/721694c905dc1a2524bc#file-s3update-py-L18).它遵循Python(/sf/answers/1771531121/),Node.js(http://bitjudo.com/blog/2014/03/13/building-efficient-dockerfiles-node-dot)执行的方法-js /)项目.

这是我们可以做的:

  1. 获取资源的ETag并将其保存在Dockerfile之外
  2. 使用ADD指令在下载之前添加可缓存文件
    • Docker将检查文件的mtime元数据是否使缓存无效.
  3. 像往常一样使用RUN指令下载内容
    • 如果前一条指令无效,Docker将重新下载该文件.如果没有,将使用缓存.

这是一个演示此策略的设置:

例

  1. 创建一个处理HEAD请求并返回ETag标头的Web服务器,通常由服务器返回.

    • 这模拟了文件的Nexus或S3存储.

  2. 构建映像并验证依赖层是否将首次下载资源

    • 缓存ETag的当前值

  3. 重建映像并验证依赖层将使用缓存值.

  4. 更改Web Server处理程序返回的ETag值以模拟更改.

    • 另外,持续更改IFF文件已更改.在这个原因是的...
    • 重建映像并验证依赖层是否将失效,从而触发下载.

  5. 再次重建映像并验证是否已使用缓存.

1. Node.js服务器

假设您有以下Node.js服务器提供文件.让我们实现一个HEAD操作并返回一个值.

// You'll see the client-side's output on the console when you run it.

var restify = require('restify');

// Server
var server = restify.createServer({
  name: 'myapp',
  version: '1.0.0'
});

server.head("/", function (req, res, next) {
  res.writeHead(200, {'Content-Type': 'application/json; charset=utf-8',
        'ETag': '"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"'});
  res.end();
  return next();
});

server.get("/", function (req, res, next) {
  res.writeHead(200, {'Content-Type': 'application/json; charset=utf-8',
        'ETag': '"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"'});
  res.write("The file to be downloaded");
  res.end();
  return next();
});

server.listen(80, function () {
  console.log('%s listening at %s', server.name, server.url);
});

// Client
var client = restify.createJsonClient({
  url: 'http://localhost:80',
  version: '~1.0'
});

client.head('/', function (err, req, res, obj) {
  if(err) console.log("An error ocurred:", err);
  else console.log('HEAD    /   returned headers: %j', res.headers);
});
Run Code Online (Sandbox Code Playgroud)

执行此操作将为您提供:

mdesales@ubuntu [11/27/201411:10:49] ~/dev/icode/fuego/interview (feature/supportLogAuditor *) $ node testserver.js 
myapp listening at http://0.0.0.0:8181
HEAD    /   returned headers: {"content-type":"application/json; charset=utf-8",
            "etag":"\"{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}\"",
            "date":"Thu, 27 Nov 2014 19:10:50 GMT","connection":"keep-alive"}
Run Code Online (Sandbox Code Playgroud)

2.基于ETag值构建图像

请考虑以下构建脚本,该脚本将ETag标头缓存在文件中.

#!/bin/sh

# Delete the existing first, and get the headers of the server to a file "headers.txt"
# Grep the ETag to a "new-docker.etag" file
# If the file exists, verify if the ETag has changed and/or move/modify the mtime of the file
# Proceed with the "docker build" as usual
rm -f new-docker.etag
curl -I -D headers.txt http://192.168.248.133:8181/ && \
  grep -o 'ETag[^*]*' headers.txt > new-docker.etag && \
  rm -f headers.txt

if [ ! -f docker.etag ]; then
  cp new-docker.etag docker.etag
else
  new=$(cat docker.etag)
  old=$(cat new-docker.etag)
  echo "Old ETag = $old"
  echo "New ETag = $new"
  if [ "$old" != "$new" ]; then
    mv new-docker.etag docker.etag
    touch -t 200001010000.00 docker.etag
  fi
fi

docker build -t platform.registry.docker.corp.intuit.net/container/mule:3.4.1 .
Run Code Online (Sandbox Code Playgroud)

3.重建和使用缓存

考虑到我正在使用当前缓存,建立此结果将如下所示.

mdesales@ubuntu [11/27/201411:54:08] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh 
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Date: Thu, 27 Nov 2014 19:54:16 GMT
Connection: keep-alive

Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Sending build context to Docker daemon 51.71 kB
Sending build context to Docker daemon 
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
 ---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
 ---> Using cache
 ---> 9bb8fff83697
Step 2 : WORKDIR /opt
 ---> Using cache
 ---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
 ---> Using cache
 ---> db3f82289475
Step 4 : RUN cat /tmp/docker.etag
 ---> Using cache
 ---> 0d4147a5f5ee
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
 ---> Using cache
 ---> 6bd6e75be322
Successfully built 6bd6e75be322
Run Code Online (Sandbox Code Playgroud)

4.模拟ETag变化

更改服务器上ETag的值并重新启动服务器以模拟新更新将导致更新缓存标志文件并使缓存失效.例如,Etag改为"465fb0d9b9f143ad691c7c3bcf3801b47284f8333".重建将触发新的下载,因为ETag文件已更新,Docker将在"ADD"指令期间验证.这里,步骤#5将再次运行.

mdesales@ubuntu [11/27/201411:54:16] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh 
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Date: Thu, 27 Nov 2014 19:54:45 GMT
Connection: keep-alive

Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8555}}"
Sending build context to Docker daemon 50.69 kB
Sending build context to Docker daemon 
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
 ---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
 ---> Using cache
 ---> 9bb8fff83697
Step 2 : WORKDIR /opt
 ---> Using cache
 ---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
 ---> ac3b200c8cdc
Removing intermediate container 4cf0040dbc43
Step 4 : RUN cat /tmp/docker.etag
 ---> Running in 4dd38d30549a
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
 ---> 4fafbeac2180
Removing intermediate container 4dd38d30549a
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
 ---> Running in de920c7a2e28
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 13.5M  100 13.5M    0     0  1361k      0  0:00:10  0:00:10 --:--:-- 2283k
 ---> 95aff324da85
Removing intermediate container de920c7a2e28
Successfully built 95aff324da85
Run Code Online (Sandbox Code Playgroud)

5.再次重用缓存

考虑到ETag没有改变,cache-flag文件将继续保持相同,Docker将使用缓存进行超快速构建. 

mdesales@ubuntu [11/27/201411:54:56] ~/dev/github-intuit/docker-images/platform/mule-3.4 (master) $ ./build.sh 
HTTP/1.1 200 OK
Content-Type: application/json; charset=utf-8
ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Date: Thu, 27 Nov 2014 19:54:58 GMT
Connection: keep-alive

Old ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
New ETag = ETag: "{SHA1{465fb0d9b9f143ad691c7c3bcf3801b47284f8333}}"
Sending build context to Docker daemon 51.71 kB
Sending build context to Docker daemon 
Step 0 : FROM core.registry.docker.corp.intuit.net/runtime/java:7
 ---> 3eb1591273f5
Step 1 : MAINTAINER Marcello_deSales@intuit.com
 ---> Using cache
 ---> 9bb8fff83697
Step 2 : WORKDIR /opt
 ---> Using cache
 ---> 3e3c96d96fc9
Step 3 : ADD docker.etag /tmp/docker.etag
 ---> Using cache
 ---> ac3b200c8cdc
Step 4 : RUN cat /tmp/docker.etag
 ---> Using cache
 ---> 4fafbeac2180
Step 5 : RUN curl -o docker https://get.docker.com/builds/Linux/x86_64/docker-latest
 ---> Using cache
 ---> 95aff324da85
Successfully built 95aff324da85
Run Code Online (Sandbox Code Playgroud)

此策略已用于构建Node.js,Java和其他App服务器或预构建的依赖项.

ree*_*een 4

我使用类似但更简单的方法：

\n\n

假设我想添加一个名为的二进制文件mybin，可以从以下位置下载： http: //www.example.com/pub/mybin

\n\n

我在 Jenkins 工作中执行以下操作

\n\n
wget -N http://www.example.com/pub/mybin\n
Run Code Online (Sandbox Code Playgroud)\n\n

在我的 Docker 文件中，我有：

\n\n
COPY mybin /usr/local/bin/\n
Run Code Online (Sandbox Code Playgroud)\n\n

-N仅当二进制文件在服务器上发生更改时，该选项才会下载该二进制文件。我第二次运行该wget作业时得到：

\n\n
...\nLength: 12262118 (12M) [application/octet-stream]\nServer file no newer than local file \xe2\x80\x98mybin\xe2\x80\x99 -- not retrieving.\n
Run Code Online (Sandbox Code Playgroud)\n\n

并docker build使用缓存。

\n\n

如果服务器上的二进制文件发生更改（当时间戳发生更改时），wget则会再次下载该二进制文件，这会使 COPY 命令的缓存失效。

\n

归档时间：

查看次数：

1473 次

最近记录：

10 年，2 月 前
在为Python项目构建Docker镜像时,如何避免重新安装包？ 103
当git checkout同一个文件时,docker添加缓存 10
更多相关链接
相关归档
docker-compose yml在运行后运行脚本 34
多租户应用程序的输出缓存,因主机名和文化而异 23
Kubernetes Pod因CrashLoopBackOff失败 18
如何在 docker 构建过程中使用环境变量获取脚本？ 11
Dockerfile ADD tar.gz 不使用 Docker 在 ubuntu VM 上提取 7
从环境变量配置Dancer？ 6
将从 YAML 文件解析的 PHP 数组存储在 Symfony 的缓存中 5
如何使用 Google 云存储管理缓存 4
詹金斯能否同时执行多项工作 2
如何将这些设置添加到 docker 中的 php.ini 2
难疑归档
如何在Linux上找到包含特定文本的所有文件？ 4914
如何动态合并两个JavaScript对象的属性？ 2338
jQuery滚动到元素 2196
如何在Java中打破嵌套循环？ 1751
如何在Git中完全替换另一个分支中的master分支？ 1549
将文件从Docker容器复制到主机 1438
.gitignore被Git忽略了 1407
如何获取Android应用程序的构建版本号？ 1198
如何从Git的暂存区域中删除单个文件,但不将其从索引中删除或撤消对文件本身的更改？ 1177
在Python中创建多行注释的方法？ 1081