Google bigquery 数据加载作业失败,返回“0”;“意外”;错误

Google bigquery 数据加载作业失败,返回“0”;“意外”;错误,google-bigquery,Google Bigquery,错误:意外。请再试一次 作业ID:aaaaaaaaa.com:bbbbbbbbbbb:Job_f1gjqdmj3jzwdtosh_xav9hwsg 开始时间:2014年4月14日上午11:10 结束时间:2014年4月14日下午1:10 目的地表格:aaaaaaaaa.com:bbbbbbb:monte.ledger2 不知道为什么会失败-有些成功,有些没有…您的导入作业处理时间太长,因此它会被杀死。我们将此报告为内部错误,应该将其修复为报告更方便用户的错误 我们还将研究超时(目前每个工作人员2

错误:意外。请再试一次

作业ID:aaaaaaaaa.com:bbbbbbbbbbb:Job_f1gjqdmj3jzwdtosh_xav9hwsg

开始时间:2014年4月14日上午11:10

结束时间:2014年4月14日下午1:10

目的地表格:aaaaaaaaa.com:bbbbbbb:monte.ledger2


不知道为什么会失败-有些成功,有些没有…

您的导入作业处理时间太长,因此它会被杀死。我们将此报告为内部错误,应该将其修复为报告更方便用户的错误

我们还将研究超时(目前每个工作人员2小时)


解决此问题的方法包括将数据拆分为较小的文件,或使用未压缩的输入文件。后者听起来可能令人惊讶,但未压缩的文件可以分割成块并并行处理,但gzip文件不能。

谢谢,我确实看到一次处理10个文件而不是100个文件可以改善这种情况,但我仍然看到超时。单个文件是并行处理还是顺序处理?我一直在上传4GB.json.gz thusfar。这些文件是并行处理的。问题不在于文件的数量,而在于文件的大小。压缩的JSON可以扩展很大一部分,单个工作人员在2小时内处理4GB文件时遇到困难。好的,谢谢-我将开始将我的文件分割成更小的部分。还有一个问题-当作业以这种方式失败时,是加载了一些行还是没有加载行?要么加载了所有行,要么没有加载任何行。。。整个工作成功了,或者没有成功。