Google bigquery 将本地文件加载到BigQuery表时出错

我试图通过API将本地文件加载到中，但失败了。文件大小为98MB，有500多万行。请注意，我以前加载的表具有相同的行数和稍大的文件大小，没有任何问题

我使用的代码与API文档中的代码完全相同，我已经成功地使用它上载了其他几个表。我得到的错误如下：

Errors:
Line:2243530, Too few columns: expected 5 column(s) but got 3 column(s)
Too many errors encountered. Limit is: 0.
Job ID: job_6464fc24a4414ae285d1334de924f12d
Start Time: 9:38am, 7 Aug 2012
End Time: 9:38am, 7 Aug 2012
Destination Table: 387047224813:pos_dw_api.test
Source URI: uploaded file
Schema:
  tbId: INTEGER
  hdId: INTEGER
  vtId: STRING
  prId: INTEGER
  pff: INTEGER

job_cbe54015b5304785b874baafd9c7e82e   load       FAILURE   07 Aug 08:45:23   0:00:34
job_f634cbb0a26f4404b6d7b442b9fca39c   load       FAILURE   06 Aug 16:35:28   0:00:30
job_346fdf250ae44b618633ad505d793fd1   load       FAILURE   06 Aug 16:30:13   0:00:34

{'status': '503', 'content-length': '177', 'expires': 'Fri, 01 Jan 1990 00:00:00 GMT', 'server': 'HTTP Upload Server Built on Jul 27 2012 15:58:36 (1343429916)', 'pragma': 'no-cache', 'cache-control': 'no-cache, no-store, must-revalidate', 'date': 'Tue, 07 Aug 2012 08:36:40 GMT', 'content-type': 'application/json'}

{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "backendError",
    "message": "Backend Error"
   }
  ],
  "code": 503,
  "message": "Backend Error"
 }
}

请注意，相同的文件从CloudStorage dw_tests/TestCSV/test.csv加载得很好，因此问题不可能是报告的一行列数较少的问题，因为它也会从CloudStorage失败，我还检查了所有行的格式是否正确

以下作业也有相同的问题，唯一的区别是模式中的表名和字段名不同，但数据文件、字段和类型相同。在这些尝试中，它声称另一行陷入了麻烦：

Line:4288253, Too few columns: expected 5 column(s) but got 4 column(s)

工作内容如下：

Errors:
Line:2243530, Too few columns: expected 5 column(s) but got 3 column(s)
Too many errors encountered. Limit is: 0.
Job ID: job_6464fc24a4414ae285d1334de924f12d
Start Time: 9:38am, 7 Aug 2012
End Time: 9:38am, 7 Aug 2012
Destination Table: 387047224813:pos_dw_api.test
Source URI: uploaded file
Schema:
  tbId: INTEGER
  hdId: INTEGER
  vtId: STRING
  prId: INTEGER
  pff: INTEGER

job_cbe54015b5304785b874baafd9c7e82e   load       FAILURE   07 Aug 08:45:23   0:00:34
job_f634cbb0a26f4404b6d7b442b9fca39c   load       FAILURE   06 Aug 16:35:28   0:00:30
job_346fdf250ae44b618633ad505d793fd1   load       FAILURE   06 Aug 16:30:13   0:00:34

{'status': '503', 'content-length': '177', 'expires': 'Fri, 01 Jan 1990 00:00:00 GMT', 'server': 'HTTP Upload Server Built on Jul 27 2012 15:58:36 (1343429916)', 'pragma': 'no-cache', 'cache-control': 'no-cache, no-store, must-revalidate', 'date': 'Tue, 07 Aug 2012 08:36:40 GMT', 'content-type': 'application/json'}

{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "backendError",
    "message": "Backend Error"
   }
  ],
  "code": 503,
  "message": "Backend Error"
 }
}

Python脚本返回的错误如下：

Errors:
Line:2243530, Too few columns: expected 5 column(s) but got 3 column(s)
Too many errors encountered. Limit is: 0.
Job ID: job_6464fc24a4414ae285d1334de924f12d
Start Time: 9:38am, 7 Aug 2012
End Time: 9:38am, 7 Aug 2012
Destination Table: 387047224813:pos_dw_api.test
Source URI: uploaded file
Schema:
  tbId: INTEGER
  hdId: INTEGER
  vtId: STRING
  prId: INTEGER
  pff: INTEGER

job_cbe54015b5304785b874baafd9c7e82e   load       FAILURE   07 Aug 08:45:23   0:00:34
job_f634cbb0a26f4404b6d7b442b9fca39c   load       FAILURE   06 Aug 16:35:28   0:00:30
job_346fdf250ae44b618633ad505d793fd1   load       FAILURE   06 Aug 16:30:13   0:00:34

{'status': '503', 'content-length': '177', 'expires': 'Fri, 01 Jan 1990 00:00:00 GMT', 'server': 'HTTP Upload Server Built on Jul 27 2012 15:58:36 (1343429916)', 'pragma': 'no-cache', 'cache-control': 'no-cache, no-store, must-revalidate', 'date': 'Tue, 07 Aug 2012 08:36:40 GMT', 'content-type': 'application/json'}

{
 "error": {
  "errors": [
   {
    "domain": "global",
    "reason": "backendError",
    "message": "Backend Error"
   }
  ],
  "code": 503,
  "message": "Backend Error"
 }
}

---

看起来BigQuery可能存在问题。如何解决此问题？

临时文件仍然存在，因此我可以签出我们尝试导入的文件。对于job_6464fc24a4414ae285d1334de924f12d，最后一行是：

222,320828,bot,2,0
222,320829,bot,4,3
222,320829,

看起来我们在某个时候删除了部分输入文件。。。输入规范说散列应该是58eb7c2954ddfa96d109fa1c60663293，但我们的数据散列是297f958bcf94959eae49bee32cc3acdc，文件大小应该是98921024，但我们只有83886080字节

---

我会调查为什么会发生这种情况。同时，虽然导入使用了一种更简单的路径，但应该可以。

Hi Juan:我想澄清一下，当作业完成时，是否会出现503错误，以及检查失败的摄取作业id时是否会出现行：4288253，列太少？嗨，Michael，我过了一会儿才得到503，我猜当它到达文件中无法处理的部分时。我从控制台中的作业历史记录中获得了关于第XXXXX行的详细信息。请注意，在作业失败之前，它不会显示在控制台的历史记录中。谢谢Jordan。对于一个测试，我刚刚尝试上载一个大文件，前几天我成功上载了该文件，请参见job_c60decc9ff414a96aecf5367c7c60eb1到一个新表387047224813:pos_dw_api.test2，但失败了，该作业是job_58d11425bafa4318844d8fb2c1d92c75。所以这种情况似乎是最近的发展。问题可能在我这边吗？可能是通信问题导致套接字过早关闭或类似情况？今天下午的最新版本有一些额外的检查，看看我们是否能发现这种情况再次发生。你能试一下让我们知道吗？谢谢汉克斯·乔丹。我现在能够加载相同的文件而没有问题。我还尝试了另一个最近失败的大文件，但它在几周前工作正常，现在也工作得很好job_44107a7c41c04f8f94f0917df734b6ed，因此问题似乎已经解决。谢谢