直接在 Google 云存储中连接 1000 个 CSV 文件？没有重复的headers？

Question

是否可以直接在 Google 云存储中将 1000 个具有 header 的 CSV 文件串联成一个没有重复 header 的文件？我可以通过将文件下载到我的本地硬盘驱动器来轻松完成此操作，但我更愿意在云存储中本地执行此操作。

它们都有相同的列，并且有 header 行。

Answer 1

我编写了 an article 来使用 BigQuery 处理 CSV 文件。避免多个文件，如果体积小于1Gb，推荐方式如下

1. 使用所有 CSV 在 BigQuery 中创建临时 table。
2. 使用Export API（不是导出功能）

如果您需要更多指导，请告诉我。