Google bigquery 从云存储加载BigQuery时出错(与直接文件上载一起使用)

Google bigquery 从云存储加载BigQuery时出错(与直接文件上载一起使用),google-bigquery,Google Bigquery,每当我尝试将存储在CloudStorage中的CSV文件加载到BigQuery中时,就会出现一个内部错误(使用web界面和命令行)。CSV是Google Ngram数据集(缩写)的一部分 命令式: bq load 1grams.ngrams gs://otichybucket/import_test.csv word:STRING,year:INTEGER,freq:INTEGER,volume:INTEGER 给我: BigQuery error in load operation: Err

每当我尝试将存储在CloudStorage中的CSV文件加载到BigQuery中时,就会出现一个内部错误(使用web界面和命令行)。CSV是Google Ngram数据集(缩写)的一部分

命令式:

bq load 1grams.ngrams gs://otichybucket/import_test.csv word:STRING,year:INTEGER,freq:INTEGER,volume:INTEGER
给我:

BigQuery error in load operation: Error processing job 'otichyproject1:bqjob_r28187461b449065a_000001504e747a35_1': An internal error occurred and the request could not be completed.
但是,当我使用web界面直接加载此文件,并将文件上载为源文件(从本地驱动器加载)时,它可以工作

我需要从云存储加载,因为我需要加载更大的文件(原始ngrams数据集)


我尝试了不同的文件,总是相同的。

我是BigQuery团队的工程师。我可以查到你的工作,看起来在读取谷歌云存储对象时出现了问题

不幸的是,我们没有记录太多的上下文,但看看代码,可能导致这种情况的原因是:

  • 您为作业指定的URI格式不正确。它看起来没有畸形,但可能有一些奇怪的UTF8非打印字符,我没有注意到

  • 你的桶的“区域”不知怎的出乎意料。您是否有可能将GCS存储桶上的数据位置设置为{美国、欧盟或亚洲}以外的其他位置。有关铲斗位置的更多信息,请参阅。如果是这样,您将位置设置为一个区域,而不是一个大陆,这可能会导致此错误

  • 可能是地面军事系统中的某些内部错误导致了这种情况。然而,我没有在任何日志中看到这一点,这应该是相当罕见的


  • 我们正在添加更多日志记录,以便将来检测到这一点,并解决区域存储桶的问题(但是,区域存储桶可能会失败,因为bigquery不支持跨区域数据移动,但至少它们会失败,并出现可理解的错误)。

    您好,感谢您的回复。我认为1不应该适用,因为我直接从Chrome复制了所有内容。2.你说得对,水桶在一个地区,我会用美国水桶再试一次,然后再报告。如果错误更容易理解,肯定会有帮助。上传的ngram数据失败后,我尝试使用公共trigram数据集,但失败惨重,otichyproject1:job_5C7IPqdwS_OwrrivQzodo8Q7ni运行了2.5个小时,最后又出现了一个内部错误。我应该开始一个新的问题吗?好的,你是对的,从同一个大陆的桶中加载到BigQuery工作正常,谢谢!