如何防止 docker build 重新下载复制的 Go 供应商

Question

我试图Dockerfile通过复制整个目录来加快运行速度（包括，因为在我居住的地方重新下载依赖项大约需要 10m+），但是当我尝试运行它时，它总是一次又一次地重新下载供应商，这与在本地vendor时不同：go mod vendor

FROM golang:1.14-alpine AS builder
RUN apk --update add ca-certificates git make g++
ENV GO111MODULE=on

WORKDIR /app

RUN go get github.com/go-delve/delve/cmd/dlv

COPY . .

RUN go mod vendor

ARG COMMIT_HASH
ENV COMMIT_HASH=${COMMIT_HASH}
ARG BUILD_DATE
ENV BUILD_DATE=${BUILD_DATE}

RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 \
    go build \
    -o app

FROM golang:1.14-alpine

WORKDIR /app

COPY --from=builder /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/ca-certificates.crt
COPY --from=builder /go/bin/dlv /
COPY --from=builder /app/app .
COPY --from=builder /app/db ./db
EXPOSE 8080 63342
CMD [ "/dlv", "--listen=:63342", "--headless=true", "--api-version=2", "--accept-multiclient", "exec", "./app" ]

以前使用这个（没有供应商）也很慢：

COPY go.mod .
COPY go.sum .
RUN go mod download -x
COPY . .

尝试这个也不起作用：

COPY vendor /go/pkg/mod
COPY vendor /go/pkg/mod/cache/download
COPY go.mod .
COPY go.sum .

RUN go mod download -x

COPY . .

如何强制它使用复制的供应商目录而不是一次又一次重新下载？

所以预期的行为是：

1. 当本地有vendor（使用go mod vendor）时，docker build应该使用它
2. 但是在 CI 上（因为vendor/*/*没有致力于回购）或没有vendor/*/*它的开发人员可能应该重新下载所有内容（我真的不在乎，因为他们有很好的带宽）

该go mod vendor命令适用于尚未使用过的 CI 和开发人员go mod vendor

Answer 1

go mod vendor仅当依赖项在本地环境中尚未准备好时才从网络下载依赖项。否则，它只会将依赖项复制到文件夹vendor而不访问网络。您的问题来自于go mod cache在多个构建过程中没有被重用。

作为解决方案，您可以使用buildkit 缓存解决方案。

一个最小的例子：

main.go：

package main

import _ "github.com/jeanphorn/log4go"

func main() {
}

Dockerfile：

# syntax = docker/dockerfile:1.3
FROM golang:1.14-alpine AS builder

RUN apk --update add git

ENV GO111MODULE=on
WORKDIR /app

COPY main.go /app

RUN go mod init hello

RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go get github.com/go-delve/delve/cmd/dlv && go get github.com/jeanphorn/log4go
RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go mod vendor

第一次执行：

$ export DOCKER_BUILDKIT=1
$ docker build --progress=plain -t abc:1 . --no-cache
#16 [builder 6/7] RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go get github.com/go-delve/delve/cmd/dlv && go get github.com/jeanphorn/log4go
#16 sha256:ae394bc67787799808175eada48c5f4e09101b6e153d535ddb5e4040fbf74395
#16 1.941 go: downloading github.com/go-delve/delve v1.7.1
#16 4.296 go: found github.com/go-delve/delve/cmd/dlv in github.com/go-delve/delve v1.7.1
......
#16 23.78 go: finding module for package github.com/toolkits/file
#16 23.96 go: downloading github.com/toolkits/file v0.0.0-20160325033739-a5b3c5147e07
#16 24.17 go: found github.com/toolkits/file in github.com/toolkits/file v0.0.0-20160325033739-a5b3c5147e07
#16 DONE 27.3s

第二次执行：

$ export DOCKER_BUILDKIT=1
$ docker build --progress=plain -t abc:1 . --no-cache
#15 [builder 6/7] RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go get github.com/go-delve/delve/cmd/dlv && go get github.com/jeanphorn/log4go
#15 sha256:bee74f92ceb79cce449b9702c892cb39815461981838f6b63d500414be87c21d
#15 1.467 go: found github.com/go-delve/delve/cmd/dlv in github.com/go-delve/delve v1.7.1
#15 7.511 go: github.com/jeanphorn/log4go upgrade => v0.0.0-20190526082429-7dbb8deb9468
#15 7.533 go: finding module for package github.com/toolkits/file
#15 7.675 go: found github.com/toolkits/file in github.com/toolkits/file v0.0.0-20160325033739-a5b3c5147e07
#15 DONE 8.7s

您可以看到golang mod cache第一次运行生成的内容已被第二次运行重复使用，而无需从互联网下载。现在它的工作方式与在主机上执行时相同。

注意：我不建议直接将主机上的任何缓存绑定到容器。我认为它不便携。