google 云存储中的日间文件夹策略

Question

在 gcp 中每天创建大约 10k 个文件的每日存档的最佳策略是什么？随后将处理一天中的所有文件。我的困境是 gcp 云存储是扁平的，所以我必须选择所有的创建日期。我的另一个想法是有一天的桶，然后我可以直接去那个桶。您认为哪种策略更好？

Answer 1

GCS 列表 API（JSON, XML), gsutil ls 和客户端库都允许某种 prefix 列表。例如，您可以列出所有以 gs://bucket/archive/YYYY/MM/DD 开头的对象以获得 gs://bucket/archives/YYYY/MM/DD/file01.tgz、gs://bucket/archives/YYYY/MM/DD/file02.tgz等

如果您能够像这样构建您的档案，那么当您处理文件时，您可以使用适当的前缀来只处理一天的文件。