Pig Script 上的多个 AWS 账户

Question

我想从 EMR 的 PIG 脚本访问我拥有 aws_access_key 和 aws_secret_key 的一个帐户的 s3 存储桶，我想将结果文件存储在另一个 aws 帐户上. 有什么办法可以做到这一点？我已经尝试过使用凭据的 s3n 路径，但它不起作用。

谢谢

Answer 1

我通过更改 PigStorage 函数解决了这个问题，将结果存储在 hdfs 中，并在 cleanUpWithSucess 方法上调用一个方法，使用凭据将 hdfs 文件上传到 s3。这样我就可以在 PigStorageFunction 用于存储时将凭据传递给它，当然我还更改了 PigStorage 的构造函数以接收这些参数。