更改 GCP 数据流作业的网络

Changing network of GCP dataflow jobs

需要更改超过 1000 个 dataflow 个工作的网络。现在它们在默认网络中 运行ning,我们需要更改作业以使用 custom/shared VPC。我想使用下面的 gcloud dataflow 支持 --network parameter 更改网络,但它可能不适用于所有工作。

gcloud dataflow jobs run wc --gcs-location gs://dataflow-templates-us-central1/latest/Word_Count --region us-central1 --subnetwork regions/us-east1/subnetworks/newkube --disable-public-ips

我主要担心的是,如果我使用上述命令更改网络,那么它也会调用 dataflow 作业,这意味着作业使用的资源将再次启动。这对我来说只是为了改变网络而增加了成本。

关于在不 运行 绑定作业的情况下为现有作业更改网络的任何建议,以便在下一个 运行 期间它 运行 在新网络上。

您不需要运行作业来更改网络。无论您当前使用何种编排工具来触发这些数据流作业,您都需要进行更改以添加 networksubnetwork(如果需要)。

当编排工具执行数据流作业时,它将使用 network 参数启动该 VPC 中的工作程序。每次作业 运行 都会检查这些配置并相应地启动工作机器。