Google bigquery 尝试从大查询导出时出现内部错误
我需要修复一些BQ表，唯一的方法似乎是导出它们，在本地修复并重新加载。但我所有的出口尝试都惨遭失败。下面只是一个例子。我正在使用命令行Google bigquery 尝试从大查询导出时出现内部错误,google-bigquery,Google Bigquery,我需要修复一些BQ表，唯一的方法似乎是导出它们，在本地修复并重新加载。但我所有的出口尝试都惨遭失败。下面只是一个例子。我正在使用命令行bq bq extract --compression=GZIP --destination_format=NEWLINE_DELIMITED_JSON test.US_2015_05 gs://???/us-2015-05--*.gz BigQuery error in extract operation: Error processing job '???:b
bqbq extract --compression=GZIP --destination_format=NEWLINE_DELIMITED_JSON test.US_2015_05 gs://???/us-2015-05--*.gz
BigQuery error in extract operation: Error processing job '???:bqjob_r1dbda9e5_00000150b2e288eb_1': An internal error occurred and the request could not be completed.
'???:bqjob_r3e0f4cf0_00000150b2e6daf6_1': Table gs://???/us-2015-05.json too large to be exported to a single file. Specify a uri including a * to shard export.
[编辑]如果我尝试从web UI导出，我会遇到非常相同的内部错误。经过多次反复修改，解决方案非常简单，但与普通的“内部错误”完全不一致 我试图出口到的水桶位于欧盟地区，这似乎让BQ感到困惑。在美国地区创造了一个全新的水桶，使其发挥了魅力
现在，我无法理解这是怎么一个“内部错误”。尽管如此，我还是很高兴我能做到这一点。我希望这有助于节省浪费的时间。内部错误是我们跨地区执法中的一个错误：我们的错误地图中缺少一个欧洲地区，而您碰巧发现了它。很抱歉给您带来不便，我们很快就会解决此问题。您为什么会觉得无法在BQ内解决您的表格？有什么细节吗？解决原始问题（如果存在）可能比解决问题更为理想。好吧，想象一个170GB大的表中有一个非常复杂的层次结构，您突然发现缺少一个4级深的字段。如果有一个带有某种键/值数据的附加表，您将如何解决这个问题？目标是通过添加一个新字段来保持原始表的结构（无展平）。如果你认为你有一个解决办法，我会很乐意贴一个单独的问题，给你一个机会回答那里。我相信这是一个普遍的BQ问题，每个人都会从中受益。我认为我们应该尝试一下。170GB对于BQ来说真的什么都不是，4个级别应该可以。但可能取决于实际情况最让我困扰的是，我完全是偶然发现了一个解决方案。我想我会尝试一些愚蠢的事情——结果成功了！