更改 GCP 数据流作业的网络
Changing network of GCP dataflow jobs
需要更改超过 1000 个 dataflow
个工作的网络。现在它们在默认网络中 运行ning,我们需要更改作业以使用 custom/shared VPC
。我想使用下面的 gcloud dataflow
支持 --network parameter
更改网络,但它可能不适用于所有工作。
gcloud dataflow jobs run wc --gcs-location gs://dataflow-templates-us-central1/latest/Word_Count --region us-central1 --subnetwork regions/us-east1/subnetworks/newkube --disable-public-ips
我主要担心的是,如果我使用上述命令更改网络,那么它也会调用 dataflow
作业,这意味着作业使用的资源将再次启动。这对我来说只是为了改变网络而增加了成本。
关于在不 运行 绑定作业的情况下为现有作业更改网络的任何建议,以便在下一个 运行 期间它 运行 在新网络上。
您不需要运行作业来更改网络。无论您当前使用何种编排工具来触发这些数据流作业,您都需要进行更改以添加 network
和 subnetwork
(如果需要)。
当编排工具执行数据流作业时,它将使用 network
参数启动该 VPC 中的工作程序。每次作业 运行 都会检查这些配置并相应地启动工作机器。
需要更改超过 1000 个 dataflow
个工作的网络。现在它们在默认网络中 运行ning,我们需要更改作业以使用 custom/shared VPC
。我想使用下面的 gcloud dataflow
支持 --network parameter
更改网络,但它可能不适用于所有工作。
gcloud dataflow jobs run wc --gcs-location gs://dataflow-templates-us-central1/latest/Word_Count --region us-central1 --subnetwork regions/us-east1/subnetworks/newkube --disable-public-ips
我主要担心的是,如果我使用上述命令更改网络,那么它也会调用 dataflow
作业,这意味着作业使用的资源将再次启动。这对我来说只是为了改变网络而增加了成本。
关于在不 运行 绑定作业的情况下为现有作业更改网络的任何建议,以便在下一个 运行 期间它 运行 在新网络上。
您不需要运行作业来更改网络。无论您当前使用何种编排工具来触发这些数据流作业,您都需要进行更改以添加 network
和 subnetwork
(如果需要)。
当编排工具执行数据流作业时,它将使用 network
参数启动该 VPC 中的工作程序。每次作业 运行 都会检查这些配置并相应地启动工作机器。