从存储桶文件创建 table 时出现问题

Question

我有一个很大的 table（大约 1000 万行），我正试图将其放入我的大查询中。由于创建 table 时的大小限制，我不得不将 CSV 上传到存储桶中。当我尝试使用数据存储创建 table 时，作业失败并显示错误：

Error Reason:invalid. Get more information about this error at Troubleshooting Errors: invalid.
Errors:
gs://es_main/provider.csv does not contain valid backup metadata.
Job ID: liquid-cumulus:job_KXxmLZI0Ulch5WmkIthqZ4boGgM
Start Time: Dec 16, 2015, 3:00:51 PM
End Time: Dec 16, 2015, 3:00:51 PM
Destination Table: liquid-cumulus:ES_Main.providercloudtest
Source URI: gs://es_main/provider.csv
Source Format: Datastore Backup

我已经解决了问题，方法是使用来自相同 table 的行的小示例文件，并在 table 创建时使用 CSV 功能上传，没有任何错误，并且可以很好地查看数据.

我只是想知道应该使用存储桶中的 "Edit metadata" 选项设置什么元数据，或者我是否缺少其他解决方法。谢谢

Answer 1

您发布的作业的错误消息告诉您您提供的文件不是 Datastore Backup file. Note that "Datastore" here means Google Cloud Datastore，这是另一种您似乎没有使用的存储解决方案。 Cloud Datastore Backup 是来自该存储产品的特定文件类型，不同于 CSV 或 JSON.

在 Google 云存储浏览器中设置文件元数据，也就是您所说的 "Edit metadata" 选项所在的位置，应该不会影响 BigQuery 导入文件的方式。如果您对 Cloud Storage 中的文件进行更多操作，这可能很重要，但据我所知，这对 BigQuery 并不重要。

要将 CSV 文件从 Google Cloud Storage 上传到 BigQuery，请确保 select CSV 源格式和 Google 存储加载源，如下图所示。

从存储桶文件创建 table 时出现问题

Issues creating table from bucket file

google-cloud-storage

google-bigquery