Google app engine GAE同步生产和开发数据存储

Google app engine GAE同步生产和开发数据存储,google-app-engine,google-cloud-datastore,database-backups,Google App Engine,Google Cloud Datastore,Database Backups,我可以下载生产GAE数据存储的备份,但无法将备份上载到我的开发应用程序。以下是我的尝试: 从生产中下载存储,按预期工作: appcfg.py download_data --application=s~myApp --url=http://myApp.appspot.com/_ah/remote_api --filename=backup1 将备份加载到开发应用商店失败: appcfg.py upload_data --application=dev~myApp --url=http://l

我可以下载生产GAE数据存储的备份,但无法将备份上载到我的开发应用程序。以下是我的尝试:

从生产中下载存储,按预期工作:

appcfg.py download_data --application=s~myApp --url=http://myApp.appspot.com/_ah/remote_api --filename=backup1
将备份加载到开发应用商店失败:

appcfg.py upload_data --application=dev~myApp  --url=http://localhost:8080/_ah/remote_api --filename=backup1
Uploading data records.
[INFO    ] Logging to bulkloader-log-20120823.225047
[INFO    ] Throttling transfers:
[INFO    ] Bandwidth: 250000 bytes/second
[INFO    ] HTTP connections: 8/second
[INFO    ] Entities inserted/fetched/modified: 20/second
[INFO    ] Batch Size: 10
[INFO    ] Opening database: bulkloader-progress-20120823.225047.sql3
Please enter login credentials for localhost
Email: myemail@gmail.com
Password for myemail@gmail.com: 
[INFO    ] Connecting to localhost:8080/_ah/remote_api
[INFO    ] Starting import; maximum 10 entities per post
............................................................................................................................................................[INFO    ] Unexpected thread death: WorkerThread-5
[INFO    ] An error occurred. Shutting down...
.........[ERROR   ] Error in WorkerThread-5: <urlopen error [Errno 61] Connection refused>

[INFO    ] 2670 entities total, 0 previously transferred
[INFO    ] 1650 entities (1207416 bytes) transferred in 431.1 seconds
[INFO    ] Some entities not successfully transferred
appcfg.py上传_数据--application=dev~myApp--url=http://localhost:8080/_ah/remote_api --filename=backup1
上传数据记录。
[信息]记录到bulkloader-log-20120823.225047
[信息]限制传输:
[信息]带宽:250000字节/秒
[信息]HTTP连接:8/秒
[信息]插入/提取/修改实体:20/秒
[信息]批量大小:10
[信息]打开数据库:bulkloader-progress-20120823.225047.sql3
请输入本地主机的登录凭据
电邮:myemail@gmail.com
密码myemail@gmail.com: 
[信息]连接到本地主机:8080/\u ah/remote\u api
[信息]开始导入;每个员额最多10个实体
[信息]意外线程死亡:WorkerThread-5
[信息]发生错误。关闭。。。
WorkerThread-5中的错误:
[信息]总计2670个实体,0个以前转移的实体
[信息]431.1秒内传输1650个实体(1207416字节)
[信息]某些实体未成功转移

错误61似乎是端口错误。应用程序正在运行,我已通过浏览器以管理员身份登录,并且在CLI命令中输入了电子邮件/密码。一些记录总是被上传,然后上传过程被切断

我总是发现将线程数设置为1会更可靠地将数据上载到本地数据存储。请记住,dev服务器基本上是单线程的。尝试使用
--num_threads=1运行它

我还建议您设置
--db_filename=db_filename
来创建进度数据库,这意味着您可以在数据库出现故障时重新启动它

在尝试编写大型实体时,我有时不得不减少批处理大小


干杯

开发人员数据存储是否有限制?我没有超过1000的每种实体,即使我试图上传更多。当我重新运行导入时,我不断收到消息:[INFO][WorkerThread-0]由于错误而退出。过去,我在本地开发数据存储中成功地获取了大约100000个实体。然而,最近的SDK似乎有点问题。在上传时清空index.yaml可能值得一试。您正在使用哪个SDK。排序也很重要,例如--application,然后--url,然后--filename我必须使用什么凭据?我输入了我拥有的,但它不起作用。使用SDK1.9.9