gsutil 从 s3 匿名复制?

gsutil to copy anonymously from s3?

gsutil 的目标是从 s3:// 匿名复制到 gs://。

Boto 支持 s3 匿名连接,但我不确定如何让 gsutil 使用匿名连接方法。

我已将此添加到 ~/.boto 但没有成功。它仍然希望为 AWS 定义 [Credentials]

[s3]
anon = True

任何experience/advise?

这是一个 gsutil 错误 - 仅当没有可用的凭据(对于 gs 或 s3)时才使用匿名身份验证。

如果您从 s3:// 匿名读取并在 gs:// 中匿名写入(到 publicly-writable bucket),您可以简单地 运行 没有 ~/. boto 文件,它会工作。

如果您需要结合匿名请求和凭据请求,例如在写入非 public GCS 存储桶的同时匿名读取 s3,您需要等待 this Github issue 的修复.

顺便说一句,如果您希望将大量数据从 S3 复制到 GS,您可能想尝试 GCS Transfer Service(尽管我认为它不支持匿名 S3 访问)。这将允许您在不通过您的机器发送位的情况下进行复制。