Jenkins 的 K8s 插件：总是运行一个 pod 内的两个独立容器

Question

我创建了一个 Dockerfile（对于节点 JNLP slave，它可以与 Kubernetes 插件一起使用詹金斯）。我是从官方图片延伸过来的 jenkinsci/jnlp-slave

FROM jenkinsci/jnlp-slave

USER root


MAINTAINER Aryak Sengupta <aryak.sengupta@hyland.com>
LABEL Description="Image for NodeJS slave"

COPY cert.crt /usr/local/share/ca-certificates
RUN update-ca-certificates

RUN curl -sL https://deb.nodesource.com/setup_8.x | bash \
    && apt-get install -y nodejs

ENTRYPOINT ["jenkins-slave"]

我将这张图片保存在我的 Pod 模板中（在 K8s 插件配置中）。现在，当我尝试运行在这个 slave 上构建时，我发现 Pod 中生成了两个容器（截图证明了这一点。） .

我的 Pod 模板如下所示：

我的 Kubernetes 配置如下所示：

现在，如果我做一个简单的 docker ps，我发现有两个容器启动了（为什么？）：

现在，在 Jenkins 的 Jenkins Job 配置中，无论我在构建步骤中添加什么，这些步骤都会在第一个容器中执行。

即使我在 PodTemplate 中使用官方 Node 容器，结果仍然是一样的：

我试图在我的 Jenkins 作业中打印 Node 版本，输出是 "Node not found" 。此外，为了验证我的臀部，我在第二个容器中做了一个 docker exec 并尝试打印 Node 版本。在这种情况下，它工作得很好。

这就是我的构建步骤：

所以，归结起来，我有两个主要问题：

为什么每当我启动 Jenkins 作业时，两个分离（一个用于 JNLP，一个用于所有自定义更改）容器启动？
为什么我的作业运行ning 在第一个未安装 Node 的容器上？如何使用此配置实现使用 Node 构建项目的预期行为？

我错过了什么？

P.S。 - 如果问题的某些部分不清楚，请告诉我。

编辑：我知道这可以使用 Pipeline Jenkins 插件来完成，我可以在其中明确提及 container 名称，但我需要从 Jenkins UI .有什么方法可以指定容器名称以及我已经这样做的从名称：

Answer 1

Jenkins kubernetes 插件将始终在为执行构建而创建的 pod 内创建 JNLP 从属容器。 podTemplate 是您定义执行构建所需的其他容器的地方。

在这种情况下，您似乎想要向 podTemplate 添加一个 Node 容器。在您的构建中，您将在命名的 Node 容器中进行构建。

你真的不应该关心 Pod 在哪里运行。您需要做的就是确保添加一个容器，其中包含您需要的资源（如本例中的 Node）。您可以向 podTemplate 添加任意数量的容器。我有一些带有 10 个或更多容器的容器，用于 PMD、Maven、curl 等步骤

我使用带有管道的 Jenkinsfile。

podTemplate(cloud: 'k8s-houston', label: 'api-hire-build', 
  containers: [
    containerTemplate(name: 'maven', image: 'maven:3-jdk-8-alpine', ttyEnabled: true, command: 'cat'),
    containerTemplate(name: 'pmd', image: 'stash.company.com:8443/pmd:pmd-bin-5.5.4', alwaysPullImage: false, ttyEnabled: true, command: 'cat')
  ],
  volumes: [
    persistentVolumeClaim(claimName: 'jenkins-pv-claim', mountPath: '/mvn/.m2nrepo')
  ]
)
{
  node('api-hire-build') {
    stage('Maven compile') {
      container('maven') {
        sh "mvn -Dmaven.repo.local=/mvn/.m2nrepo/repository clean compile"
      }
    }
    stage('PMD SCA (docker)') {
      container('pmd') {
        sh 'run.sh pmd -d "$PWD"/src -f xml -reportfile "$PWD"/target/pmd.xml -failOnViolation false -rulesets java-basic,java-design,java-unusedcode -language java'
        sh 'run.sh pmd -d "$PWD"/src -f html -reportfile "$PWD"/target/pmdreport.html -failOnViolation false -rulesets java-basic,java-design,java-unusedcode -language java'
        sh 'run.sh cpd --files "$PWD"/src --minimum-tokens 100 --failOnViolation false --language java --format xml > "$PWD"/target/duplicate-code.xml'
      }
      archive 'target/duplicate-code.xml'
      step([$class: 'PmdPublisher', pattern: 'target/pmd.xml'])
    }
  }
}

Answer 2

设置容器模板 -> 名称为 jnlp。 https://issues.jenkins-ci.org/browse/JENKINS-40847

Answer 3

好的，我已经找到解决方案了。 mhang li的回答是线索，但他没有解释。

基本上，您需要修改找到的官方 Jenkins Slave 映像 here 并修改它以包含对您的从站的更改。本质上，您是将 JNLP 和 Slave 容器合并为一个并构建一个组合图像。

修改格式将如下所示（从链接的 Dockerfile 中获取）

FROM jenkins/slave:3.27-1
MAINTAINER Oleg Nenashev <o.v.nenashev@gmail.com>
LABEL Description="This is a base image, which allows connecting Jenkins agents via JNLP protocols" Vendor="Jenkins project" Version="3.27"

COPY jenkins-slave /usr/local/bin/jenkins-slave

**INCLUDE CODE FOR YOUR SLAVE. Eg install node, java, whatever**

ENTRYPOINT ["jenkins-slave"] # Make sure you include this file as well

现在，将从属容器命名为 jnlp（原因 - bug）。所以现在，您将拥有一个生成的容器，它将成为您的 JNLP + Slave。总而言之，您的 Kubernetes 插件 Pod 模板将如下所示。请注意我放入的 docker 图像的自定义 url。此外，请确保不要包含 Command To Run，除非您需要。

完成！您的构建现在应该运行在此容器中，并且应该像您编写 Dockerfile 一样运行！

Jenkins 的 K8s 插件：总是运行一个 pod 内的两个独立容器

K8s plugin for Jenkins: Always running two separate containers inside a pod

jenkins

jenkins-plugins

docker

kubernetes

Jenkins 的 K8s 插件：总是 运行 一个 pod 内的两个独立容器

K8s plugin for Jenkins: Always running two separate containers inside a pod

jenkins

jenkins-plugins

docker

kubernetes

Jenkins 的 K8s 插件：总是运行一个 pod 内的两个独立容器