是否可以增加 S3 的读写限制?

Is it possible to increase the S3 limits for read and write?

是否可以增加每秒读写的 S3 限制?我只在文档中找到了当前值,但没有迹象表明可以增加此限制。有人知道吗?

改善这些限制的一个好方法是利用分区的使用。 Following the documentation,这些限制适用于存储桶内的每个前缀,因此,存储对象的方式会影响最大性能。我举个例子,假设你用桶来存储日志文件。一种存储方式是将所有内容都放在根路径中。

2022_02_11_log_a.txt
2022_02_11_log_b.txt
2022_02_11_log_c.txt
2022_02_11_log_d.txt
2022_02_12_log_a.txt
2022_02_12_log_b.txt
2022_02_12_log_c.txt
2022_02_12_log_d.txt

对于 S3,这些对象位于同一分区内,因此,它们将具有文档中定义的最大吞吐量。要改善这些限制,您可以将路径更改为以下内容:

2022_02_11/log_a.txt
2022_02_11/log_b.txt
2022_02_11/log_c.txt
2022_02_11/log_d.txt
2022_02_12/log_a.txt
2022_02_12/log_b.txt
2022_02_12/log_c.txt
2022_02_12/log_d.txt

现在您有两个分区:2022_02_112022_02_12。每个都有自己的吞吐量限制。

您应该检查文件的访问模式并定义利用它的分区。如果您的访问模式是随机的,您可以尝试使用一些散列模式作为对象路径的一部分。

我也会留下这个official documentation about object key naming