尝试从 Big Query 导出时出现内部错误
Getting an internal error trying to export from Big Query
我需要修复一些 BQ tables,唯一的方法似乎是导出它们,在本地修复并重新上传。但我所有的出口尝试都惨遭失败。下面只是一个例子。我正在使用命令行 bq
.
bq extract --compression=GZIP --destination_format=NEWLINE_DELIMITED_JSON test.US_2015_05 gs://???/us-2015-05--*.gz
BigQuery error in extract operation: Error processing job '???:bqjob_r1dbda9e5_00000150b2e288eb_1': An internal error occurred and the request could not be completed.
如果我从 URI 中去掉通配符,我会得到一个不同的错误。
'???:bqjob_r3e0f4cf0_00000150b2e6daf6_1': Table gs://???/us-2015-05.json too large to be exported to a single file. Specify a uri including a * to shard export.
此外,我无法使用默认 CSV 导出,因为我的 table 具有重复字段。所以一定是JSON(压缩与否)。
有什么想法吗?
[编辑] 如果我尝试从 Web 导出 UI.
,我会遇到完全相同的内部错误
经过大量来回摆弄之后,解决方案非常简单,但与原版完全不一致 "internal error"。
我尝试导出到的存储桶在欧盟地区,这似乎让 BQ 感到困惑。在美国地区创建一个全新的存储桶使其非常有效。
现在,这 "internal error" 是如何超出我的理解范围的。不过,我很高兴我能让它发挥作用。我希望这可以帮助人们节省一些浪费的时间。
"internal error" 是我们跨区域执行中的一个错误:我们的错误地图中缺少一个欧洲区域,您碰巧发现了它。对于给您带来的不便,我们深表歉意,我们会尽快解决此问题。
我需要修复一些 BQ tables,唯一的方法似乎是导出它们,在本地修复并重新上传。但我所有的出口尝试都惨遭失败。下面只是一个例子。我正在使用命令行 bq
.
bq extract --compression=GZIP --destination_format=NEWLINE_DELIMITED_JSON test.US_2015_05 gs://???/us-2015-05--*.gz
BigQuery error in extract operation: Error processing job '???:bqjob_r1dbda9e5_00000150b2e288eb_1': An internal error occurred and the request could not be completed.
如果我从 URI 中去掉通配符,我会得到一个不同的错误。
'???:bqjob_r3e0f4cf0_00000150b2e6daf6_1': Table gs://???/us-2015-05.json too large to be exported to a single file. Specify a uri including a * to shard export.
此外,我无法使用默认 CSV 导出,因为我的 table 具有重复字段。所以一定是JSON(压缩与否)。
有什么想法吗?
[编辑] 如果我尝试从 Web 导出 UI.
,我会遇到完全相同的内部错误经过大量来回摆弄之后,解决方案非常简单,但与原版完全不一致 "internal error"。
我尝试导出到的存储桶在欧盟地区,这似乎让 BQ 感到困惑。在美国地区创建一个全新的存储桶使其非常有效。
现在,这 "internal error" 是如何超出我的理解范围的。不过,我很高兴我能让它发挥作用。我希望这可以帮助人们节省一些浪费的时间。
"internal error" 是我们跨区域执行中的一个错误:我们的错误地图中缺少一个欧洲区域,您碰巧发现了它。对于给您带来的不便,我们深表歉意,我们会尽快解决此问题。