Google app engine 如何加速应用程序引擎批量下载程序?
我正在尝试使用AppEngineBulkloader从数据存储中下载实体(如果有必要,可以使用高复制)。它可以工作,但速度相当慢(85KB/s)。是否有一些神奇的参数,我可以通过它使它更快?我每分钟收到大约5MB或20000条记录,考虑到我的连接速度可以达到1MB/秒(希望应用程序引擎能够提供更快的服务),一定有办法做到更快 这是我目前的命令。我尝试过高数字、低数字和各种排列:Google app engine 如何加速应用程序引擎批量下载程序?,google-app-engine,bulkloader,Google App Engine,Bulkloader,我正在尝试使用AppEngineBulkloader从数据存储中下载实体(如果有必要,可以使用高复制)。它可以工作,但速度相当慢(85KB/s)。是否有一些神奇的参数,我可以通过它使它更快?我每分钟收到大约5MB或20000条记录,考虑到我的连接速度可以达到1MB/秒(希望应用程序引擎能够提供更快的服务),一定有办法做到更快 这是我目前的命令。我尝试过高数字、低数字和各种排列: appcfg.py download_data --application=xxx --url=http://xx
appcfg.py download_data
--application=xxx
--url=http://xxx.appspot.com/_ah/remote_api
--filename=backup.csv
--rps_limit=30000
--bandwidth_limit=100000000
--batch_size=500
--http_limit=32
--num_threads=30
--config_file=bulkloader.yaml
--kind=foo
我已经试过了
这并不比我已经拥有的快。他提到的数字和我所看到的一样。
提前感谢。您是否在试图下载的实体的键上设置了索引?
我不知道这是否有帮助,但请检查您是否在下载开始时收到关于“使用顺序下载”的警告 将其放在index.yaml上,以在实体键上载上创建索引,并等待生成索引
- kind: YOUR_ENTITY_TYPE
properties:
- name: __key__
direction: desc
这使速度提高了一倍。我没有把那个警告和速度问题联系起来。我现在的速度是10MB/分钟,这比以前好多了,但仍然远低于我的连接速度。谢谢你的帮助!