Apache Beam S3 文件系统扩展始终需要 aws 区域输入，即使在我项目中不使用 AWS 的其他管道中也是如此

Question

我有一个用 java 编写的项目，其中包含多个光束管道，我将其编译成一个 jar 文件以便在服务器上执行。目前一切正常，我只是从 GCP 资源中读取，但我只是添加了一个写入 S3 的管道。 S3 部分独立工作，但现在当我尝试运行其他仅使用 GCP 的管道时，它会抛出异常，因为我没有提供 S3 选项（即使我不需要它们）——错误下面的消息。当我只使用 GCP 资源（或者我做错了什么）时，我需要指定一个 AWS 区域似乎有点不对劲。有没有办法只注册我用于特定管道的文件系统，而不是在初始化时一揽子注册所有文件系统？

INFO: The AWS S3 Beam extension was included in this build, but the awsRegion flag was not specified. If you don't plan to use S3, then ignore this message.

它抛出此（上方）信息警告，好像它可以在 AWS 区域忽略它，但随后抛出异常（下方）。

Exception in thread "main" com.amazonaws.SdkClientException: Could not find region information for 'null' in SDK metadata.

我正在使用 Maven 打包我的 Jar 文件，然后通过传入该管道的特定 main（即）来执行管道。这是我尝试运行我的管道时得到的堆栈跟踪，它根本不使用 AWS 或 S3，只使用 GCP。

Jan 08, 2019 4:14:00 PM org.apache.beam.sdk.io.aws.s3.S3FileSystem <init>
INFO: The AWS S3 Beam extension was included in this build, but the awsRegion flag was not specified. If you don't plan to use S3, then ignore this message.
Exception in thread "main" com.amazonaws.SdkClientException: Could not find region information for 'null' in SDK metadata.
    at com.amazonaws.client.builder.AwsClientBuilder.getRegionObject(AwsClientBuilder.java:256)
    at com.amazonaws.client.builder.AwsClientBuilder.withRegion(AwsClientBuilder.java:243)
    at org.apache.beam.sdk.io.aws.s3.DefaultS3ClientBuilderFactory.createBuilder(DefaultS3ClientBuilderFactory.java:42)
    at org.apache.beam.sdk.io.aws.s3.S3FileSystem.<init>(S3FileSystem.java:112)
    at org.apache.beam.sdk.io.aws.s3.S3FileSystemRegistrar.fromOptions(S3FileSystemRegistrar.java:39)
    at org.apache.beam.sdk.io.FileSystems.verifySchemesAreUnique(FileSystems.java:489)
    at org.apache.beam.sdk.io.FileSystems.setDefaultPipelineOptions(FileSystems.java:479)
    at org.apache.beam.sdk.PipelineRunner.fromOptions(PipelineRunner.java:47)
    at org.apache.beam.sdk.Pipeline.create(Pipeline.java:145)
    at foo.GCSPipeline.runGCSPipeline(GCSPipeline.java:192)
    at foo.GCSPipeline.main(GCSPipeline.java:239)

Answer 1

这是错误，正在此处进行跟踪：https://issues.apache.org/jira/browse/BEAM-6266

Apache Beam S3 文件系统扩展始终需要 aws 区域输入，即使在我项目中不使用 AWS 的其他管道中也是如此

Apache Beam S3 filesystem extension always requires aws region input even in other pipelines within my project that don't us AWS

java

amazon-s3

google-cloud-dataflow

apache-beam