Python 2.7 谷歌云存储中的下载速度

Python 2.7 谷歌云存储中的下载速度,python-2.7,google-cloud-storage,httplib2,Python 2.7,Google Cloud Storage,Httplib2,我正在使用MediaIoBaseDownload实现从GCS的下载 但我发现每次响应之间的下载响应总是大约5秒 如果我同时下载两个文件,每个响应之间的间隔将在10秒左右 上传速度很好,仅在下载时发生 下载API是否有任何限制,因为我找不到限制 添加一些日志信息后,我发现在httplib2中花费在response.read()上的时间最多 我是否可以认为这是GCS服务器的限制,或者是否存在影响下载速度的存储桶设置(如DRA) 我正在使用python 2.7.8 谢谢 您能否尝试运行gsutil p

我正在使用MediaIoBaseDownload实现从GCS的下载

但我发现每次响应之间的下载响应总是大约5秒

如果我同时下载两个文件,每个响应之间的间隔将在10秒左右

上传速度很好,仅在下载时发生

下载API是否有任何限制,因为我找不到限制

添加一些日志信息后,我发现在httplib2中花费在
response.read()
上的时间最多

我是否可以认为这是GCS服务器的限制,或者是否存在影响下载速度的存储桶设置(如DRA)

我正在使用python 2.7.8


谢谢

您能否尝试运行
gsutil perfdiag
?好的,我将尝试gsutil了解更多详细信息。谢谢我运行了gsutil,发现gsutil下载使用了包装在gsutil包中的存储工具,但没有使用httplib2进行下载。另外,可恢复的下载特性gsutil可以自己处理它。我认为关键的一点是gsutil下载文件的速度比普通库快,并应用resumable参数。最后我找到了原因。因为我钩住了ssl_recv并进行了速率限制控制,我发现在长度小于1k的请求中有许多响应返回。如果没有速率限制控制,我直接返回响应来解决这个问题,我很好奇有没有办法设置google服务器的响应buf_大小?