Google bigquery BigQuery:从GCS将数据加载到EU数据集中
在过去,我已经成功地从美国托管的GCS存储桶中的CSV数据将数据加载到美国托管的BigQuery数据集中。此后,我们决定将BigQuery数据移动到欧盟,我创建了一个新的数据集,其中选择了这个区域。我已经成功地填充了那些足够小的表,可以从我家的机器上传。但这两个表太大了,所以我想从GCS中的文件加载它们。我曾尝试从美国托管的GCS bucket和欧盟托管的GCS bucket中执行此操作(认为bq负载可能不喜欢跨区域),但每次负载都失败。下面是我从bq命令行获得的错误详细信息(500,内部错误)。有人知道发生这种情况的原因吗?从GCS将数据加载到欧盟托管的BigQuery数据集中是否是已知对其他人有用的Google bigquery BigQuery:从GCS将数据加载到EU数据集中,google-bigquery,google-cloud-platform,Google Bigquery,Google Cloud Platform,在过去,我已经成功地从美国托管的GCS存储桶中的CSV数据将数据加载到美国托管的BigQuery数据集中。此后,我们决定将BigQuery数据移动到欧盟,我创建了一个新的数据集,其中选择了这个区域。我已经成功地填充了那些足够小的表,可以从我家的机器上传。但这两个表太大了,所以我想从GCS中的文件加载它们。我曾尝试从美国托管的GCS bucket和欧盟托管的GCS bucket中执行此操作(认为bq负载可能不喜欢跨区域),但每次负载都失败。下面是我从bq命令行获得的错误详细信息(500,内部错误)
{
"configuration": {
"load": {
"destinationTable": {
"datasetId": "######",
"projectId": "######",
"tableId": "test"
},
"schema": {
"fields": [
{
"name": "test_col",
"type": "INTEGER"
}
]
},
"sourceFormat": "CSV",
"sourceUris": [
"gs://######/test.csv"
]
}
},
"etag": "######",
"id": "######",
"jobReference": {
"jobId": "job_Y4U58uTyxitsvbgljFi2x534N7M",
"projectId": "######"
},
"kind": "bigquery#job",
"selfLink": "https://www.googleapis.com/bigquery/v2/projects/######",
"statistics": {
"creationTime": "1445336673213",
"endTime": "1445336674738",
"startTime": "1445336674738"
},
"status": {
"errorResult": {
"message": "An internal error occurred and the request could not be completed.",
"reason": "internalError"
},
"errors": [
{
"message": "An internal error occurred and the request could not be completed.",
"reason": "internalError"
}
],
"state": "DONE"
},
"user_email": "######"
}
在搜索有关StackOverflow的其他相关问题后,我最终意识到我已将我的GCS桶区域设置为
EUROPE-WEST-1
,而不是多区域EU
位置。现在一切按预期进行。您的利率较低。重要信息:因此,您必须使用投票下方张贴答案左侧的勾号来标记已接受的答案。这将提高你的利率。通过访问此链接了解其工作原理:谢谢,我已经完成了