如何为 google 数据流作业设置自定义作业 ID

How do I set a custom Job Id for a google dataflow job

我想为每个 google 数据流作业 I 运行 自定义作业名称和作业 ID。我要为作业创建自定义的作业名称。

但我无法设置自定义作业 ID。

我找到了一个 com.google.cloud.dataflow.sdk.options.DataflowWorkerHarnessOptions 接口,它有一个方法 setJobId(String value)。但是我无法使用它来创建自定义的作业 ID。

有没有办法创建自定义的作业 ID?

JobId 是 Dataflow 服务的作业标识符,必须是全局唯一的,因此该服务不允许用户选择一个。

您可能想改为配置 jobName。在您的程序中,您可以使用选项设置 jobName。 这也有助于从数据流列表页面快速搜索相关工作。 在您的 DataflowPipelineOptions 中,有一个参数来设置 job

Ex - options.setJobName("MyExtractionJob"+ new Date());