如何防止 docker 构建重新下载复制的 Go 供应商

Question

我试图通过复制整个目录（包括 vendor，使 Dockerfile 运行更快，因为在我居住的第三世界国家，重新下载依赖项需要大约 10m+，但是当我尝试运行它时，它总是一次又一次地重新下载供应商，这与本地 go mod vendor 不同：

FROM golang:1.14-alpine AS builder
RUN apk --update add ca-certificates git make g++
ENV GO111MODULE=on

WORKDIR /app

RUN go get github.com/go-delve/delve/cmd/dlv

COPY . .

RUN go mod vendor

ARG COMMIT_HASH
ENV COMMIT_HASH=${COMMIT_HASH}
ARG BUILD_DATE
ENV BUILD_DATE=${BUILD_DATE}

RUN CGO_ENABLED=0 GOOS=linux GOARCH=amd64 \
    go build \
    -o app

FROM golang:1.14-alpine

WORKDIR /app

COPY --from=builder /etc/ssl/certs/ca-certificates.crt /etc/ssl/certs/ca-certificates.crt
COPY --from=builder /go/bin/dlv /
COPY --from=builder /app/app .
COPY --from=builder /app/db ./db
EXPOSE 8080 63342
CMD [ "/dlv", "--listen=:63342", "--headless=true", "--api-version=2", "--accept-multiclient", "exec", "./app" ]

以前使用这个（没有供应商）也很慢：

COPY go.mod .
COPY go.sum .
RUN go mod download -x
COPY . .

尝试这个也没有用：

COPY vendor /go/pkg/mod
COPY vendor /go/pkg/mod/cache/download
COPY go.mod .
COPY go.sum .

RUN go mod download -x

COPY . .

如何强制它使用复制的供应商目录而不是一次又一次地重新下载？

所以预期的行为是：

当本地有vendor（使用go mod vendor）时，docker build应该使用它
但是当在 CI 上（因为 vendor/*/* 没有提交回购协议）或没有 vendor/*/* 的开发人员时，它可能应该重新下载所有内容（我真的不在乎，因为他们有很好的带宽）

go mod vendor 命令适用于 CI 和尚未使用 go mod vendor

的开发人员

Answer 1

go mod vendor 如果本地没有准备好依赖，只从网络下载依赖。否则，它只会将依赖项复制到文件夹 vendor 中，而无需访问网络。所以在这里，您的问题来自 go mod cache not be reused during multiple build.

作为解决方案，您可以使用 buildkit cache solution，下一个是最小示例：

main.go:

package main

import _ "github.com/jeanphorn/log4go"

func main() {
}

Dockerfile:

# syntax = docker/dockerfile:1.3
FROM golang:1.14-alpine AS builder

RUN apk --update add git

ENV GO111MODULE=on
WORKDIR /app

COPY main.go /app

RUN go mod init hello

RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go get github.com/go-delve/delve/cmd/dlv && go get github.com/jeanphorn/log4go
RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go mod vendor

第一次执行：

$ export DOCKER_BUILDKIT=1
$ docker build --progress=plain -t abc:1 . --no-cache
#16 [builder 6/7] RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go get github.com/go-delve/delve/cmd/dlv && go get github.com/jeanphorn/log4go
#16 sha256:ae394bc67787799808175eada48c5f4e09101b6e153d535ddb5e4040fbf74395
#16 1.941 go: downloading github.com/go-delve/delve v1.7.1
#16 4.296 go: found github.com/go-delve/delve/cmd/dlv in github.com/go-delve/delve v1.7.1
......
#16 23.78 go: finding module for package github.com/toolkits/file
#16 23.96 go: downloading github.com/toolkits/file v0.0.0-20160325033739-a5b3c5147e07
#16 24.17 go: found github.com/toolkits/file in github.com/toolkits/file v0.0.0-20160325033739-a5b3c5147e07
#16 DONE 27.3s

第二次执行：

$ export DOCKER_BUILDKIT=1
$ docker build --progress=plain -t abc:1 . --no-cache
#15 [builder 6/7] RUN --mount=type=cache,mode=0755,target=/go/pkg/mod go get github.com/go-delve/delve/cmd/dlv && go get github.com/jeanphorn/log4go
#15 sha256:bee74f92ceb79cce449b9702c892cb39815461981838f6b63d500414be87c21d
#15 1.467 go: found github.com/go-delve/delve/cmd/dlv in github.com/go-delve/delve v1.7.1
#15 7.511 go: github.com/jeanphorn/log4go upgrade => v0.0.0-20190526082429-7dbb8deb9468
#15 7.533 go: finding module for package github.com/toolkits/file
#15 7.675 go: found github.com/toolkits/file in github.com/toolkits/file v0.0.0-20160325033739-a5b3c5147e07
#15 DONE 8.7s

您可以看到第一个运行生成的 golang mod cache 已经被第二个运行重复使用而无需从互联网下载，现在在主机上执行时效果相同。

注意：我不建议直接将主机上的任何缓存绑定到容器，我认为它不可移植。

如何防止 docker 构建重新下载复制的 Go 供应商

How to prevent docker build from redownloading copied Go vendor

caching

go

docker