Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/python-2.7/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/google-app-engine/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 2.7 GAE-无法从BigQuery API获取URL_Python 2.7_Google App Engine_Google Oauth_Google Bigquery_Oauth2client - Fatal编程技术网

Python 2.7 GAE-无法从BigQuery API获取URL

Python 2.7 GAE-无法从BigQuery API获取URL,python-2.7,google-app-engine,google-oauth,google-bigquery,oauth2client,Python 2.7,Google App Engine,Google Oauth,Google Bigquery,Oauth2client,我们的集成平台现在每天都会出现两个“无法获取URL:…”错误。我不知道这是什么原因 第一个GAE尝试通过OAuth2从应用程序内部向BigQuery授权。它每秒尝试30秒以上(这只是30条类似线路中的1条): 下面是跟踪本身(就在上面显示的日志之后): 这些是从Google数据存储获取数据并加载到BigQuery的过程 这些错误是不确定的。有时它们会发生。有时不。我在这里看不到任何图案 需要注意的一点是:截至2015年5月1日,这些流程没有问题。数据被毫无困难地加载到BQ中 我的假设是,它可能以

我们的集成平台现在每天都会出现两个“无法获取URL:…”错误。我不知道这是什么原因

第一个GAE尝试通过OAuth2从应用程序内部向BigQuery授权。它每秒尝试30秒以上(这只是30条类似线路中的1条):

下面是跟踪本身(就在上面显示的日志之后):

这些是从Google数据存储获取数据并加载到BigQuery的过程

这些错误是不确定的。有时它们会发生。有时不。我在这里看不到任何图案

需要注意的一点是:截至2015年5月1日,这些流程没有问题。数据被毫无困难地加载到BQ中

我的假设是,它可能以某种方式与OAuth2.0相关。我们使用


v1.1。最新版本是1.4.7。也许更新会有帮助?或者问题出在其他地方?

要最小化此类错误,请在将数据插入BigQuery时在应用程序中实施重试策略。为了更好地解释,我对可能的答案很感兴趣。自同一日期以来,我们遇到了完全相同的问题。这是超时问题吗?尝试增加中的连接和读取超时GAE@pinoyyid如何更改连接和读取超时?您可以设置请求的截止日期,即服务等待响应的最长时间。默认情况下,获取的截止时间为5秒。HTTP请求的最大截止时间为60秒,任务队列和cron作业请求的最大截止时间为60秒。使用URLConnection接口时,服务使用连接超时(setConnectTimeout())加上读取超时(setReadTimeout())作为截止日期。@pinoyyid我没有提到的是我们使用Python。据我所知,这些方法只在Java中可用
getJob=self.jobCollection.get(projectId=self.config['projectId'],jobId=jobReference)。execute()
这段代码大约每500毫秒运行30次,直到弹出“无法获取URL:”。
2015-05-12 05:59:02.727
URL being requested: https://www.googleapis.com/bigquery/v2/projects/XXX/jobs/job_w-z5K2zQObXeSaLy3hx7m4FOMXc?alt=json
File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/connectors/connector_XXX_v1_0.py", line 189, in send
    status = self._verify_status(resp, content)
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/connectors/connector_XXX_v1_0.py", line 250, in _verify_status
    jobId=jobReference).execute()
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/util.py", line 128, in positional_wrapper
    return wrapped(*args, **kwargs)
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/apiclient/http.py", line 676, in execute
    body=self.body, headers=self.headers)
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/util.py", line 128, in positional_wrapper
    return wrapped(*args, **kwargs)
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/oauth2client/client.py", line 490, in new_request
    redirections, connection_type)
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1570, in request
    (response, content) = self._request(conn, authority, uri, request_uri, method, body, headers, redirections, cachekey)
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1317, in _request
    (response, content) = self._conn_request(conn, request_uri, method, body, headers)
  File "/base/data/home/apps/s~XXX/processes:uno.383135852015228853/modules/httplib2/__init__.py", line 1286, in _conn_request
    response = conn.getresponse()
  File "/base/data/home/runtimes/python27/python27_dist/lib/python2.7/gae_override/httplib.py", line 536, in getresponse
    'An error occured while connecting to the server: %s' % e)
error: An error occured while connecting to the server: Unable to fetch URL: https://www.googleapis.com/bigquery/v2/projects/XXX/jobs/job_d_ONsjBebYjreJuDD-ZdEqCHYv0?alt=json