谷歌虚拟机/Python请求网络问题；“重磅”；体积

在Google虚拟机上的.py程序中，当我同时发送很多请求时，我会得到这种响应。我不认为这是我试图访问的服务器的问题，因为从

requests.exceptions.ConnectionError:HTTPSConnectionPool（host='storage.googleapis.com'，port=443）：url:

到

requests.exceptions.ConnectionError:HTTPSConnectionPool的所有网络请求都将同时失败（host='api.ratesapi.io'，port=443）：url:/api/latest？base=USD

超过了最大重试次数（当然，每个都可能因各自的原因而失败）。请注意，第一个只是一个Google存储api，我认为它没有任何限制（因为我为此付费）。我的虚拟机和存储也在同一个区域，因此如果有任何网络问题，应该不会有什么问题。最后，我的出口速度只有1mb/s，入口速度是20mb/s，这似乎不是很高

很难找出问题所在，因为问题并不总是发生

是否还有其他限制我没有考虑？是否有谷歌存储配额，或虚拟机配额我没有考虑？或者是否有Python相关的瓶颈我没有考虑

更新：还注意到我的内存使用率为80%+，但无法判断是哪个原因造成的

Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/urllib3/connection.py", line 160, in _new_conn
    (self._dns_host, self.port), self.timeout, **extra_kw
  File "/usr/local/lib/python3.7/site-packages/urllib3/util/connection.py", line 61, in create_connection
    for res in socket.getaddrinfo(host, port, family, socket.SOCK_STREAM):
  File "/usr/local/lib/python3.7/socket.py", line 748, in getaddrinfo
    for res in _socket.getaddrinfo(host, port, family, type, proto, flags):
socket.gaierror: [Errno -3] Temporary failure in name resolution

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/urllib3/connectionpool.py", line 677, in urlopen
    chunked=chunked,
  File "/usr/local/lib/python3.7/site-packages/urllib3/connectionpool.py", line 381, in _make_request
    self._validate_conn(conn)
  File "/usr/local/lib/python3.7/site-packages/urllib3/connectionpool.py", line 978, in _validate_conn
    conn.connect()
  File "/usr/local/lib/python3.7/site-packages/urllib3/connection.py", line 309, in connect
    conn = self._new_conn()
  File "/usr/local/lib/python3.7/site-packages/urllib3/connection.py", line 172, in _new_conn
    self, "Failed to establish a new connection: %s" % e
urllib3.exceptions.NewConnectionError: <urllib3.connection.HTTPSConnection object at 0x7fd5c45e4320>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/local/lib/python3.7/site-packages/requests/adapters.py", line 449, in send
    timeout=timeout
  File "/usr/local/lib/python3.7/site-packages/urllib3/connectionpool.py", line 727, in urlopen
    method, url, error=e, _pool=self, _stacktrace=sys.exc_info()[2]
  File "/usr/local/lib/python3.7/site-packages/urllib3/util/retry.py", line 446, in increment
    raise MaxRetryError(_pool, url, error or ResponseError(cause))
urllib3.exceptions.MaxRetryError: HTTPSConnectionPool(host='api.ratesapi.io', port=443): Max retries exceeded with url: /api/latest?base=USD (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7fd5c45e4320>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution'))

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/home/pyscripts/python2/sommpyscripts/_findCurrency.py", line 269, in findCurrency
    r = requests.get(url = URL)
  File "/usr/local/lib/python3.7/site-packages/requests/api.py", line 76, in get
    return request('get', url, params=params, **kwargs)
  File "/usr/local/lib/python3.7/site-packages/requests/api.py", line 61, in request
    return session.request(method=method, url=url, **kwargs)
  File "/usr/local/lib/python3.7/site-packages/requests/sessions.py", line 530, in request
    resp = self.send(prep, **send_kwargs)
  File "/usr/local/lib/python3.7/site-packages/requests/sessions.py", line 643, in send
    r = adapter.send(request, **kwargs)
  File "/usr/local/lib/python3.7/site-packages/requests/adapters.py", line 516, in send
    raise ConnectionError(e, request=request)
requests.exceptions.ConnectionError: HTTPSConnectionPool(host='api.ratesapi.io', port=443): Max retries exceeded with url: /api/latest?base=USD (Caused by NewConnectionError('<urllib3.connection.HTTPSConnection object at 0x7fd5c45e4320>: Failed to establish a new connection: [Errno -3] Temporary failure in name resolution'))"

回溯（最近一次呼叫最后一次）：
文件“/usr/local/lib/python3.7/site packages/urllib3/connection.py”，第160行，位于康涅狄格州的新州
（self.\u dns\u主机，self.port），self.timeout，**额外\u千瓦
文件“/usr/local/lib/python3.7/site packages/urllib3/util/connection.py”，第61行，在create_connection中
对于socket.getaddrinfo（主机、端口、系列、socket.SOCK\u流）中的res：
getaddrinfo中的文件“/usr/local/lib/python3.7/socket.py”，第748行
对于_socket.getaddrinfo（主机、端口、系列、类型、协议、标志）中的res：
socket.gaierror:[Errno-3]名称解析暂时失败
在处理上述异常期间，发生了另一个异常：
回溯（最近一次呼叫最后一次）：
文件“/usr/local/lib/python3.7/site packages/urllib3/connectionpool.py”，urlopen中的第677行
分块的，
文件“/usr/local/lib/python3.7/site packages/urllib3/connectionpool.py”，第381行，在请求中
自我验证连接（连接）
文件“/usr/local/lib/python3.7/site packages/urllib3/connectionpool.py”，第978行，位于康涅狄格州
连接
文件“/usr/local/lib/python3.7/site packages/urllib3/connection.py”，第309行，在connect中
conn=自我。_new_conn（）
文件“/usr/local/lib/python3.7/site packages/urllib3/connection.py”，第172行，位于康涅狄格州的新州
self，“无法建立新连接：%s”%e
urllib3.exceptions.NewConnectionError:：未能建立新连接：[Errno-3]名称解析暂时失败
在处理上述异常期间，发生了另一个异常：
回溯（最近一次呼叫最后一次）：
文件“/usr/local/lib/python3.7/site packages/requests/adapters.py”，第449行，在send中
超时=超时
urlopen中的文件“/usr/local/lib/python3.7/site packages/urllib3/connectionpool.py”，第727行
方法，url，error=e，_pool=self，_stacktrace=sys.exc_info（）[2]
文件“/usr/local/lib/python3.7/site packages/urllib3/util/retry.py”，第446行，增量
引发MaxRetryError（_池、url、错误或响应错误（原因））
urllib3.exceptions.MaxRetryError:HTTPSConnectionPool（host='api.ratesapi.io'，port=443）：url:/api/latest？base=USD超过了最大重试次数（由NewConnectionError引起（'：未能建立新连接：[Errno-3]名称解析暂时失败]）
在处理上述异常期间，发生了另一个异常：
回溯（最近一次呼叫最后一次）：
文件“/home/pyscripts/python2/sommpyscripts/_findCurrency.py”，第269行，在findCurrency中
r=requests.get（url=url）
文件“/usr/local/lib/python3.7/site packages/requests/api.py”，第76行，在get中
返回请求（'get'，url，params=params，**kwargs）
文件“/usr/local/lib/python3.7/site packages/requests/api.py”，请求中的第61行
return session.request（method=method，url=url，**kwargs）
文件“/usr/local/lib/python3.7/site packages/requests/sessions.py”，请求中的第530行
resp=自我发送（准备，**发送）
文件“/usr/local/lib/python3.7/site packages/requests/sessions.py”，第643行，在send中
r=适配器.send（请求，**kwargs）
文件“/usr/local/lib/python3.7/site packages/requests/adapters.py”，第516行，在send中
raise ConnectionError（e，请求=请求）
requests.exceptions.ConnectionError:HTTPSConnectionPool（host='api.ratesapi.io'，port=443）：url:/api/latest？base=USD超过最大重试次数（由NewConnectionError引起（'：未能建立新连接：[Errno-3]名称解析暂时失败]）”

评论中的答案是正确的。我相信CPU、RAM以及硬盘驱动器的限制是导致问题的原因。在这三者之间，我认为CPU是一个不太可能的解释，因为我们已经多次达到100%CPU，没有看到这些消息，而当RAM和硬盘驱动器接近100%时，我们看到的消息更多。

T他在评论中的回答是正确的。我相信CPU、RAM以及硬盘驱动器的限制是导致问题的原因。在这三者之间，我认为CPU是一个不太可能的解释，因为我们已经多次达到100%CPU，没有看到这些消息，而当RAM和硬盘驱动器接近100%时，我们看到的消息更多。

1）高CPU利用率将导致网络间歇性失败。2）您使用的服务和实例大小是什么？3）您的错误与DNS名称解析有关。您可能正在敲打DNS服务器并被阻止，CPU利用率过高，代码中存在缺陷等。4）建议，尝试使用更大的实例大小将CPU降低到50%或更低ss.5）使用与错误匹配的代码编辑您的问题，并提供有关您正在使用的服务的更多详细信息。您是否尝试过使用更多RAM和CPU的更大VM？如果是，请单击d