如何使用我的 Google Cloud Dataflow 管道暂存其他文件?

How can I stage additional files with my Google Cloud Dataflow pipeline?

我的代码:

Foo bar = new Foo("somefile.gz");

当我 运行 它在 Google 数据流上时,它找不到我的 somefile.gz。 如何将资源文件暂存到 Google Dataflow?

默认情况下,会上传类路径中的所有文件。如果您将所需的文件作为资源包含在您的 jar 中,那么它将通过此​​过程上传。然后您可以通过 Java resources APIs.

访问该文件

如果这对您的情况不起作用,您可以使用 setFilesToStage,即命令行上的 --filesToStage。请注意,这会覆盖自动类路径上传,因此您还需要明确上传您的库依赖项。