在 GCP 上部署自定义 docker 图像以控制 values.yaml 气流

deploy custom docker image to helm values.yaml airflow on GCP

大家好,我是 helm 和 kubernetes 的新手。

我在我的 GCP kubernetes 集群中使用 Airflow,我的 objective 是 运行 我的 requirements.txt 使用自定义 docker 图像

FROM apache/airflow:2.1.0

COPY requirements.txt .

RUN pip install -r requirements.txt

我看到了很多视频和示例,使用此命令手动升级图像并将 defaultAirflowRepository 定位到 airflow-custom

kind load docker-image airflow-custom:1.0.0 --name airflow-cluster

但是我想在我的 values.yaml 升级的每个部署中包含该映像,我可以这样做吗?

编辑:

我正在使用 GKE,我的 docker 图像是一个本地 Dockerfile,我想在我的部署中使用这个图像,需要将图像上传到 docker 集线器或容器注册表存储库到使用它,或者可以在 values.yml?

中使用我本地存储库中的此图像

谢谢你的帮助,我到处搜索,不可能只上传我的 Dockerfile,有必要将我的图像上传到存储库,不管是什么存储库,在我的例子中我使用了 docker hub正如你告诉我的。

https://hub.docker.com/repository/docker/halcolo/airflow-custom-providers

用于生产的其他选项是来自 GCP 的容器注册表存储库,之后我只需要将具有相应版本的图像指向 yml 文件

你可以用 werf 做到这一点! https://werf.io/

使用 werf,您可以升级 requirements.txt 并触发新的 docker 图像上传,并在使用新图像进行 helm 部署后