BigQuery：将数据从 GCS 加载到欧盟数据集中

Question

过去，我已经成功地将数据从美国托管的 GCS 存储桶中的 CSV 数据加载到美国托管的 BigQuery 数据集中。从那以后，我们决定将我们的 BigQuery 数据移动到欧盟，我创建了一个新的数据集，并选择了这个区域。我已经成功地填充了我们的表，这些表小到可以从我家里的机器上传。但是两个表对于这个来说太大了所以我想从 GCS 中的文件加载它们。我已经尝试从美国托管的 GCS 存储桶和欧盟托管的 GCS 存储桶（认为 bq 加载可能不喜欢跨区域）执行此操作，但每次加载都失败。以下是我从 bq 命令行（500，内部错误）获得的错误详细信息。有谁知道这可能发生的原因？从 GCS 将数据加载到欧盟托管的 BigQuery 数据集中是否已知对其他人有用？

{
  "configuration": {
    "load": {
      "destinationTable": {
        "datasetId": "######", 
        "projectId": "######", 
        "tableId": "test"
      }, 
      "schema": {
        "fields": [
          {
            "name": "test_col", 
            "type": "INTEGER"
          }
        ]
      }, 
      "sourceFormat": "CSV", 
      "sourceUris": [
        "gs://######/test.csv"
      ]
    }
  }, 
  "etag": "######", 
  "id": "######", 
  "jobReference": {
    "jobId": "job_Y4U58uTyxitsvbgljFi2x534N7M", 
    "projectId": "######"
  }, 
  "kind": "bigquery#job", 
  "selfLink": "https://www.googleapis.com/bigquery/v2/projects/######", 
  "statistics": {
    "creationTime": "1445336673213", 
    "endTime": "1445336674738", 
    "startTime": "1445336674738"
  }, 
  "status": {
    "errorResult": {
      "message": "An internal error occurred and the request could not be completed.", 
      "reason": "internalError"
    }, 
    "errors": [
      {
        "message": "An internal error occurred and the request could not be completed.", 
        "reason": "internalError"
      }
    ], 
    "state": "DONE"
  }, 
  "user_email": "######"
}

Answer 1

在 Whosebug 上搜索其他相关问题后，我最终意识到我已将 GCS 存储桶区域设置为 EUROPE-WEST-1 而不是多区域 EU 位置。现在一切正常。

BigQuery：将数据从 GCS 加载到欧盟数据集中

BigQuery: Load Data into EU Dataset from GCS

google-bigquery

google-cloud-platform