通过云数据流提交 API

Submitting via Cloud Dataflow API

我正在尝试查找 API 文档(不是 Java SDK API,而是与数据流服务本身通信的 HTTP API),但找不到似乎找到了。我正在尝试为具有不同参数的同一个应用程序(jar 文件)提交作业,并且希望不必 运行 应用程序来构建图形并每次都提交自己。 (提交环境可能不支持Java。)

问题:

1) API 文档在哪里,以便我可以构建自己的请求? (有 api explorer,但没有其余部分就没有用。)

2) 有没有办法从 DataFlowPipelineRunner 转储请求,以便我可以将其用作提交自己的请求的基础。

不使用 Dataflow SDK 向 Dataflow 服务提交作业不受官方支持,因此没有任何 API 文档。

如果您想尝试捕获输出以便修改并重新提交作业,请提出 here。 newJob变量是解析后的JSON对象,可以输出到JSON文件,在后面的过程中解析修改

我们绝对有兴趣以一种易于使用的方式支持此功能;您可以查看几周前发出的 API 提案并在此处跟踪进度:https://issues.apache.org/jira/browse/BEAM-551

您可以create your Pipeline as a template,并通过使用 Dataflow API 客户端库发出 HTTP POST 请求来执行作业。

从这里开始了解更多信息:Using Templates Overview