Jenkins 运行 sh in remote docker agent stuck

Question

问题

我配置了一个远程 docker 实例（在服务器 A 上），它使 tcp://server_a:2376 能够为 API 提供服务。

我在服务器 B 上部署了一个 Jenkins 服务器，使用（Docker jenkinsci/blueocean 图片）。

现在我可以通过 TCP 端口访问服务器 A 上的 Docker 实例：

DOCKER_HOST=tcp://<server_a>:2376 docker ps
DOCKER_HOST=tcp://<server_a>:2376 docker exec some_container "ls"

以上操作都可以

但是当我制作一个通过 Server-A-Docker 作为代理运行的管道脚本时，问题出现了 sh 命令卡住，告诉：

process apparently never started in /var/jenkins_home/workspace/agent-demo@tmp/durable-1ddcfc03

(running Jenkins temporarily with -Dorg.jenkinsci.plugins.durabletask.BourneShellScript.LAUNCH_DIAGNOSTICS=true might make the problem clearer)

管道脚本

node {
    docker.withServer('tcp://<server_a>:2376') {
        docker.image('python:latest').inside() {
            sh "python --version"
        }
    }
}

管道控制台输出

Started by user iotsofttest
Running in Durability level: MAX_SURVIVABILITY
[Pipeline] Start of Pipeline
[Pipeline] node
Running on Jenkins in /var/jenkins_home/workspace/agent-demo
[Pipeline] {
[Pipeline] withDockerServer
[Pipeline] {
[Pipeline] isUnix
[Pipeline] sh
+ docker inspect -f . python:latest
.
[Pipeline] withDockerContainer
Jenkins seems to be running inside container 5be8fc34c80a55ddcc2f5399009b97260adfc7ba9ef88985e0f7df614c707b42
but /var/jenkins_home/workspace/agent-demo could not be found among []
but /var/jenkins_home/workspace/agent-demo@tmp could not be found among []
$ docker run -t -d -u 0:0 -w /var/jenkins_home/workspace/agent-demo -v /var/jenkins_home/workspace/agent-demo:/var/jenkins_home/workspace/agent-demo:rw,z -v /var/jenkins_home/workspace/agent-demo@tmp:/var/jenkins_home/workspace/agent-demo@tmp:rw,z -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** -e ******** python:latest cat
$ docker top 25dccce629d42d82b177c79544cdcd2675bad8daf94f11c55f7f9821eb6e052e -eo pid,comm
[Pipeline] {
[Pipeline] sh
process apparently never started in /var/jenkins_home/workspace/agent-demo@tmp/durable-1ddcfc03
(running Jenkins temporarily with -Dorg.jenkinsci.plugins.durabletask.BourneShellScript.LAUNCH_DIAGNOSTICS=true might make the problem clearer)
[Pipeline] }
$ docker stop --time=1 25dccce629d42d82b177c79544cdcd2675bad8daf94f11c55f7f9821eb6e052e
$ docker rm -f 25dccce629d42d82b177c79544cdcd2675bad8daf94f11c55f7f9821eb6e052e
[Pipeline] // withDockerContainer
[Pipeline] }
[Pipeline] // withDockerServer
[Pipeline] }
[Pipeline] // node
[Pipeline] End of Pipeline
ERROR: script returned exit code -2
Finished: FAILURE

我在这个问题上浪费了很多天，有什么想法吗？

Answer 1

好吧，这听起来可能很傻，但请尝试将 python --version 更改为 为 python3 --version .

此外，请确保您的 Python 容器在 sh 和 bash 中具有所有适当的路径。

最后，确保 Python 命令执行的 docker.image.inside() black 语法正确。

Answer 2

您似乎缺少 Jenkins 容器中的 docker 客户端。您需要 docker 客户端才能运行 docker 在本地或远程执行命令

尝试 downloading/installing Jenkins 容器中的 docker 客户端二进制文件并确保它在系统 $PATH 中。

一种安装方式（可能在您的环境中不起作用 - 所以 ymmv）

curl -fsSLO https://get.docker.com/builds/Linux/x86_64/docker-17.03.1-ce.tgz &&
tar --strip-components=1 -xvzf docker-17.03.1-ce.tgz -C /usr/local/bin

一旦 docker 客户端在路径中，重新运行管道。此外，为了调试目的，在管道中打印 echo $(which docker) 的输出。

Answer 3

！！！终于！！！

经过几天的多次尝试，我找到了导致问题的关键点。

问题环境重现

Server A: Jenkins master节点部署在docker下-compose使用镜像jenkinsci/blueocean
Server B: Jenkins agent node(JNLP) 部署在docker下-compose using image jenkins/inbound-agent:alpine

在两个 Jenkins master/agent 容器中，我将 /var/run/docker.sock 挂载到其中，这样两个 jenkins 节点都可以访问容器中的 docker，并且 agent docker 应该在我们的管道中得到支持。

所以现在我制作管道脚本如下：

pipeline {
    agent {
        docker {
            image 'python:latest'
            label 'agent-hkgw'
        }
    }
    stages {
        stage('main') {
            steps {
                sh '''python --version'''
            }
            
        }
    }
}

好吧，当我们构建它时，Stucked:

这就是我在问题中提到的问题。

解决方案

经过多次尝试失败后，发现从Jenkins agent节点挂载到Pipeline built container的volume没有被挂载在 Jenkins 代理节点 中显式声明。所以我尝试将 /var/jenkins 文件夹从 Server B 挂载到 Jenkins Agent Container:

然后构建的管道奇迹般地工作正常！

希望这对以后遇到同样问题的人有所帮助，感谢您尝试提供帮助的回答。

Jenkins 运行 sh in remote docker agent stuck

Jenkins run sh in remote docker agent stuck

linux

jenkins

docker

docker-compose

jenkins-pipeline

问题

管道脚本

管道控制台输出

！！！终于！！！

问题环境重现

解决方案