Google 小文件的云存储成本效益?

Google Cloud Storage cost effectiveness for small files?

我有很多小的非结构化 json 文件(每个小于 1K)我想以某种方式存储在 Google 云存储上(使用流式传输)。我宁愿避免将它们放入 zip 文件(我认为),因为我正在考虑使用 Apache Drill 对它们执行查询。将多个 json 文档合并在一起而不是一个一个地存储它们是否更具成本效益? (我认为无论是合并还是分开存储,批量写入文件都是一件好事)

嗯……也许吧。这取决于您的使用模式。

GCS 不按对象收费。相反,它按每月存储的每千兆字节收费。分解文件根本不会影响。

但是,GCS 还收取每次操作费用。在撰写本文时,每 10,000 次下载将花费您一分钱,每 10,000 次上传将花费您一毛钱。如果您只有几千个文件或一次只能访问几个文件,这可能不会有什么大的不同,但如果您需要经常下载所有文件,或者如果您需要经常替换它们,并且您如果您每天要进行数百万或数十亿次单独上传,突然改用几个大文件可以为您节省很多钱。

如果您可以估计在每种情况下您将进行多少次下载和上传,Google 提供了一个计算器让您知道它的成本:https://cloud.google.com/products/calculator/