运行 数据流模板时指定 --diskSizeGb
Specifying --diskSizeGb when running a dataflow template
我正在尝试使用 Google 数据流模板将数据从 Bigtable 导出到 Google 云存储 (GCS)。我正在关注 gcloud 命令详细信息 here. However, when running I get a warning and associated error where the suggested fix 是添加工作人员 (--numWorkers),增加附加磁盘大小 (--diskSizeGb)。但是,我看不到在传递这些参数时执行 Google 提供的模板的方法。艾米,我错过了什么?
查看 separate question,似乎有办法做到这一点。有人可以解释一下吗?
numWorkers
和 diskSizeGb
等参数是 Dataflow wide pipeline options。你应该能够像这样指定它们
gcloud dataflow jobs run JOB_NAME \
--gcs-location LOCATION --num-workers=$NUM_WORKERS --diskSizeGb=$DISK_SIZE
如果您还有其他问题,请告诉我
我正在尝试使用 Google 数据流模板将数据从 Bigtable 导出到 Google 云存储 (GCS)。我正在关注 gcloud 命令详细信息 here. However, when running I get a warning and associated error where the suggested fix 是添加工作人员 (--numWorkers),增加附加磁盘大小 (--diskSizeGb)。但是,我看不到在传递这些参数时执行 Google 提供的模板的方法。艾米,我错过了什么?
查看 separate question,似乎有办法做到这一点。有人可以解释一下吗?
numWorkers
和 diskSizeGb
等参数是 Dataflow wide pipeline options。你应该能够像这样指定它们
gcloud dataflow jobs run JOB_NAME \
--gcs-location LOCATION --num-workers=$NUM_WORKERS --diskSizeGb=$DISK_SIZE
如果您还有其他问题,请告诉我