cache/artifacts 在 Gitlab CI 中的正确用法是什么?
What is the correct usage of cache/artifacts in Gitlab CI?
我遇到了项目构建中未使用缓存文件的问题。就我而言,我想在构建阶段下载作曲家依赖项,然后在所有其他阶段成功后将它们添加到最终项目文件夹中。我认为如果将 cache
属性设置到 .gitlab-ci.yml
文件中,它也会在其他阶段共享和使用。但这有时有效,有时无效。
Gitlab版本为9.5.4
这是我的 .gitlab-ci.yml
文件:
image: ponk/debian:jessie-ssh
variables:
WEBSERVER: "user@example.com"
WEBSERVER_DEPLOY_DIR: "/domains/example.com/web-presentation/deploy/"
WEBSERVER_CDN_DIR: "/domains/example.com/web-presentation/cdn/"
TEST_VENDOR: '[ "$(ls -A ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}/vendor)" ]'
cache:
key: $CI_PIPELINE_ID
untracked: true
paths:
- vendor/
before_script:
stages:
- build
- tests
- deploy
- post-deploy
Build sources:
image: ponk/php5.6
stage: build
script:
# Install composer dependencies
- composer -n install --no-progress
only:
- tags
- staging
Deploy to Webserver:
stage: deploy
script:
- echo "DEPLOYING TO ... ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}"
- ssh $WEBSERVER mkdir -p ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}
- rsync -rzha app bin vendor www .htaccess ${WEBSERVER}:${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}
- ssh $WEBSERVER '${TEST_VENDOR} && echo "vendor is not empty, build seems ok" || exit 1'
- ssh $WEBSERVER [ -f ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}/vendor/autoload.php ] && echo "vendor/autoload.php exists, build seems ok" || exit 1
- echo "DEPLOYED"
only:
- tags
- staging
Post Deploy Link PRODUCTION to Webserver:
stage: post-deploy
script:
- echo "BINDING PRODUCTION"
- ssh $WEBSERVER unlink ${WEBSERVER_DEPLOY_DIR}production-latest || true
- ssh $WEBSERVER ln -s ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA} ${WEBSERVER_DEPLOY_DIR}production-latest
- echo "BOUNDED $CI_COMMIT_SHA -> production-latest"
- ssh $WEBSERVER sudo service php5.6-fpm reload
environment:
name: production
url: http://www.example.com
only:
- tags
Post Deploy Link STAGING to Webserver:
stage: post-deploy
script:
- echo "BINDING STAGING"
- ssh $WEBSERVER unlink ${WEBSERVER_DEPLOY_DIR}staging-latest || true
- ssh $WEBSERVER ln -s ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA} ${WEBSERVER_DEPLOY_DIR}staging-latest
- echo "BOUNDED ${CI_COMMIT_SHA} -> staging-latest"
- ssh $WEBSERVER sudo service php5.6-fpm reload
environment:
name: staging
url: http://staging.example.com
only:
- staging
在 Gitlab documentation 中说:cache is used to specify a list of files and directories which should be cached between jobs.
据我所知,我已正确设置缓存 - 我已将 untracked 设置为 true,路径包括供应商文件夹,密钥设置为 Pipeline ID,这在其他阶段也应该相同。
我见过一些包含 Artifacts
的设置,但除非你将它与 Dependencies
一起使用,否则它不会有任何效果。
我不知道我做错了什么。我需要先下载 composer 依赖,这样我就可以在下一阶段通过 rsync
复制它们。你有 ideas/solutions 吗?谢谢
Artifacts 应该用于永久提供管道末尾可能需要的任何文件,例如生成的二进制文件、管道下一阶段所需的文件、覆盖率报告甚至可能是磁盘映像。但是应该使用缓存来加速构建过程,例如,如果您编译 C/C++ 二进制文件,第一次构建通常需要很长时间,但后续构建通常会更快,因为它不是从头开始的,所以如果你要使用缓存来存储编译器制作的临时文件,它会加速跨不同管道的编译。
所以要回答你,你应该使用工件,因为你似乎需要 运行 编写每个管道,但又想将文件传递给下一个作业。您不需要在 gitlab-ci.yml 中显式定义依赖项,因为如果未定义,每个作业都会从所有以前的作业中提取所有工件。缓存应该可以工作,但它不可靠,并且对于配置更好但不是必需的配置更好。
我遇到了项目构建中未使用缓存文件的问题。就我而言,我想在构建阶段下载作曲家依赖项,然后在所有其他阶段成功后将它们添加到最终项目文件夹中。我认为如果将 cache
属性设置到 .gitlab-ci.yml
文件中,它也会在其他阶段共享和使用。但这有时有效,有时无效。
Gitlab版本为9.5.4
这是我的 .gitlab-ci.yml
文件:
image: ponk/debian:jessie-ssh
variables:
WEBSERVER: "user@example.com"
WEBSERVER_DEPLOY_DIR: "/domains/example.com/web-presentation/deploy/"
WEBSERVER_CDN_DIR: "/domains/example.com/web-presentation/cdn/"
TEST_VENDOR: '[ "$(ls -A ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}/vendor)" ]'
cache:
key: $CI_PIPELINE_ID
untracked: true
paths:
- vendor/
before_script:
stages:
- build
- tests
- deploy
- post-deploy
Build sources:
image: ponk/php5.6
stage: build
script:
# Install composer dependencies
- composer -n install --no-progress
only:
- tags
- staging
Deploy to Webserver:
stage: deploy
script:
- echo "DEPLOYING TO ... ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}"
- ssh $WEBSERVER mkdir -p ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}
- rsync -rzha app bin vendor www .htaccess ${WEBSERVER}:${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}
- ssh $WEBSERVER '${TEST_VENDOR} && echo "vendor is not empty, build seems ok" || exit 1'
- ssh $WEBSERVER [ -f ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA}/vendor/autoload.php ] && echo "vendor/autoload.php exists, build seems ok" || exit 1
- echo "DEPLOYED"
only:
- tags
- staging
Post Deploy Link PRODUCTION to Webserver:
stage: post-deploy
script:
- echo "BINDING PRODUCTION"
- ssh $WEBSERVER unlink ${WEBSERVER_DEPLOY_DIR}production-latest || true
- ssh $WEBSERVER ln -s ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA} ${WEBSERVER_DEPLOY_DIR}production-latest
- echo "BOUNDED $CI_COMMIT_SHA -> production-latest"
- ssh $WEBSERVER sudo service php5.6-fpm reload
environment:
name: production
url: http://www.example.com
only:
- tags
Post Deploy Link STAGING to Webserver:
stage: post-deploy
script:
- echo "BINDING STAGING"
- ssh $WEBSERVER unlink ${WEBSERVER_DEPLOY_DIR}staging-latest || true
- ssh $WEBSERVER ln -s ${WEBSERVER_DEPLOY_DIR}${CI_COMMIT_REF_NAME}/${CI_COMMIT_SHA} ${WEBSERVER_DEPLOY_DIR}staging-latest
- echo "BOUNDED ${CI_COMMIT_SHA} -> staging-latest"
- ssh $WEBSERVER sudo service php5.6-fpm reload
environment:
name: staging
url: http://staging.example.com
only:
- staging
在 Gitlab documentation 中说:cache is used to specify a list of files and directories which should be cached between jobs.
据我所知,我已正确设置缓存 - 我已将 untracked 设置为 true,路径包括供应商文件夹,密钥设置为 Pipeline ID,这在其他阶段也应该相同。
我见过一些包含 Artifacts
的设置,但除非你将它与 Dependencies
一起使用,否则它不会有任何效果。
我不知道我做错了什么。我需要先下载 composer 依赖,这样我就可以在下一阶段通过 rsync
复制它们。你有 ideas/solutions 吗?谢谢
Artifacts 应该用于永久提供管道末尾可能需要的任何文件,例如生成的二进制文件、管道下一阶段所需的文件、覆盖率报告甚至可能是磁盘映像。但是应该使用缓存来加速构建过程,例如,如果您编译 C/C++ 二进制文件,第一次构建通常需要很长时间,但后续构建通常会更快,因为它不是从头开始的,所以如果你要使用缓存来存储编译器制作的临时文件,它会加速跨不同管道的编译。
所以要回答你,你应该使用工件,因为你似乎需要 运行 编写每个管道,但又想将文件传递给下一个作业。您不需要在 gitlab-ci.yml 中显式定义依赖项,因为如果未定义,每个作业都会从所有以前的作业中提取所有工件。缓存应该可以工作,但它不可靠,并且对于配置更好但不是必需的配置更好。