Google bigquery Bigquery流式API超时错误

Google bigquery Bigquery流式API超时错误,google-bigquery,Google Bigquery,我们正在使用bigquery流式API。直到最近一切都很顺利(没有代码更改)—— 在过去的几个小时里,我们遇到了许多错误,如: “API调用urlfetch.Fetch()的响应时间太长,无法响应 已取消。回溯(最近一次调用上次):文件 “/base/data/home/runtimes/python27” 或 “等待URL的HTTP响应时超过了截止日期” insert调用在python延迟进程上完成,并在等待后重试 问题: 我们如何检查这是我们的内部问题还是我们的总体问题 大问题 我们可以增

我们正在使用bigquery流式API。直到最近一切都很顺利(没有代码更改)—— 在过去的几个小时里,我们遇到了许多错误,如:

“API调用urlfetch.Fetch()的响应时间太长,无法响应 已取消。回溯(最近一次调用上次):文件 “/base/data/home/runtimes/python27”

“等待URL的HTTP响应时超过了截止日期”

insert调用在python延迟进程上完成,并在等待后重试

问题:

  • 我们如何检查这是我们的内部问题还是我们的总体问题 大问题
  • 我们可以增加5000超时吗

    • 您是否在appengine中运行?如果是,您可以执行以下操作:

      from google.appengine.api import urlfetch
      urlfetch.set_default_fetch_deadline(60)
      
      也就是说,流式接收不应该接近默认的5秒错误。流式接收存在网络配置问题,现在应该解决


      您仍然看到问题吗?

      您是否能够获得jobId,如果可以,请发布它。是的。使用App engine,但我不直接导入urlfetch。我应该在哪里添加导入?顺便说一句-错误频率显著下降,但今天仍然有两个这样的错误超过5000ms。平均呼叫时间为500-600ms,峰值可能为~1000ms。使用类似的c此处接受答案中给出的python示例的ode:。这就是为什么我不知道在何处添加您上面提到的函数以延长urlfetch默认截止日期。在流式处理中向bigquery中插入约90个字段(一个原始字段)大约600ms有意义吗?