Google bigquery BigQuery:从GCS将数据加载到EU数据集中

Google bigquery BigQuery:从GCS将数据加载到EU数据集中,google-bigquery,google-cloud-platform,Google Bigquery,Google Cloud Platform,在过去,我已经成功地从美国托管的GCS存储桶中的CSV数据将数据加载到美国托管的BigQuery数据集中。此后,我们决定将BigQuery数据移动到欧盟,我创建了一个新的数据集,其中选择了这个区域。我已经成功地填充了那些足够小的表,可以从我家的机器上传。但这两个表太大了,所以我想从GCS中的文件加载它们。我曾尝试从美国托管的GCS bucket和欧盟托管的GCS bucket中执行此操作(认为bq负载可能不喜欢跨区域),但每次负载都失败。下面是我从bq命令行获得的错误详细信息(500,内部错误)

在过去,我已经成功地从美国托管的GCS存储桶中的CSV数据将数据加载到美国托管的BigQuery数据集中。此后,我们决定将BigQuery数据移动到欧盟,我创建了一个新的数据集,其中选择了这个区域。我已经成功地填充了那些足够小的表,可以从我家的机器上传。但这两个表太大了,所以我想从GCS中的文件加载它们。我曾尝试从美国托管的GCS bucket和欧盟托管的GCS bucket中执行此操作(认为bq负载可能不喜欢跨区域),但每次负载都失败。下面是我从bq命令行获得的错误详细信息(500,内部错误)。有人知道发生这种情况的原因吗?从GCS将数据加载到欧盟托管的BigQuery数据集中是否是已知对其他人有用的

{
  "configuration": {
    "load": {
      "destinationTable": {
        "datasetId": "######", 
        "projectId": "######", 
        "tableId": "test"
      }, 
      "schema": {
        "fields": [
          {
            "name": "test_col", 
            "type": "INTEGER"
          }
        ]
      }, 
      "sourceFormat": "CSV", 
      "sourceUris": [
        "gs://######/test.csv"
      ]
    }
  }, 
  "etag": "######", 
  "id": "######", 
  "jobReference": {
    "jobId": "job_Y4U58uTyxitsvbgljFi2x534N7M", 
    "projectId": "######"
  }, 
  "kind": "bigquery#job", 
  "selfLink": "https://www.googleapis.com/bigquery/v2/projects/######", 
  "statistics": {
    "creationTime": "1445336673213", 
    "endTime": "1445336674738", 
    "startTime": "1445336674738"
  }, 
  "status": {
    "errorResult": {
      "message": "An internal error occurred and the request could not be completed.", 
      "reason": "internalError"
    }, 
    "errors": [
      {
        "message": "An internal error occurred and the request could not be completed.", 
        "reason": "internalError"
      }
    ], 
    "state": "DONE"
  }, 
  "user_email": "######"
}

在搜索有关StackOverflow的其他相关问题后,我最终意识到我已将我的GCS桶区域设置为
EUROPE-WEST-1
,而不是多区域
EU
位置。现在一切按预期进行。

您的利率较低。重要信息:因此,您必须使用投票下方张贴答案左侧的勾号来标记已接受的答案。这将提高你的利率。通过访问此链接了解其工作原理:谢谢,我已经完成了