访问 aws s3 public 存储桶

Question

我正在尝试从亚马逊的 public 存储桶之一下载数据。 Here is a description of the bucket in question

该存储桶具有 example 的 Web 可访问文件夹。我想下载该文件夹中列出的所有文件。将确定一长串合适的图块，目标是一次性将所有文件放入文件夹中，而不是从 http 站点单独下载每个文件。

根据其他 Whosebug 问题，我意识到我需要使用 REST 端点并使用 AWS CLI 或 Cyberduck 之类的工具，但我还无法让这些工具正常工作。

我认为问题可能出在身份验证上。我没有 AWS 账户，我希望坚持访客/匿名访问。有没有人有一个很好的解决方案/工具来遍历 public 桶并以访客身份获取内容？使用 curl 或 wget 的不同方法是否适用于此类任务？

谢谢。

Answer 1

对于 AWS CLI，您需要提供 --no-sign-request 标志以跳过签名。示例：

> aws s3 ls landsat-pds
Unable to locate credentials. You can configure credentials by running "aws configure".
> aws s3 ls landsat-pds --no-sign-request
                           PRE L8/
                           PRE landsat-pds_stats/
                           PRE runs/
                           PRE tarq/
                           PRE tarq_corrupt/
                           PRE test/
2015-01-28 10:13:53      23764 index.html
2015-04-14 10:43:22         25 robots.txt
2016-07-13 12:53:31         38 run_info.json
2016-07-13 12:53:30   23971821 scene_list.gz

要将整个存储桶下载到一个目录中，您可以这样做：

> mkdir landsat-pds
> aws s3 sync s3://landsat-pds landsat-pds --no-sign-request

Answer 2

我不断得到

SSL validation failed for https://s3bucket.eu-central-1.amazonaws.com/?list-type=2&prefix=&delimiter=%2F&encoding-type=url [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1076)

为了四处走动，我使用 --no-verify-ssl 那么

aws s3 ls s3bucket --no-sign-request --no-verify-ssl

...成功了

访问 aws s3 public 存储桶

Access aws s3 public bucket

amazon-s3

amazon-web-services

aws-cli