Python MapReduce批量更新数据存储

Python MapReduce批量更新数据存储,python,google-app-engine,mapreduce,Python,Google App Engine,Mapreduce,我需要使用Python使用CSV文件(250000行)批量更新数据存储。通过对这个领域的研究,我可以看出MapReduce适合这个问题 我找到了一些显示类似操作的示例,但似乎找不到如何使用此库对数据存储进行简单批量更新的示例 你知道这方面的例子吗?或者你能给我指出正确的方向吗 谢谢 您还可以使用将数据从csv上载到数据存储。您还可以使用将数据从csv上载到数据存储。mapreduce可以生成mapreduce.operation.db.Put(实体)作为迭代器,app engine可以非常高效地

我需要使用Python使用CSV文件(250000行)批量更新数据存储。通过对这个领域的研究,我可以看出MapReduce适合这个问题

我找到了一些显示类似操作的示例,但似乎找不到如何使用此库对数据存储进行简单批量更新的示例

你知道这方面的例子吗?或者你能给我指出正确的方向吗

谢谢


您还可以使用将数据从csv上载到数据存储。

您还可以使用将数据从csv上载到数据存储。

mapreduce可以生成mapreduce.operation.db.Put(实体)作为迭代器,app engine可以非常高效地处理更新。或者,您可以将db.put(实体)放在mapreduce方法中。听起来像是,您正在从文件读取数据并更新所有相关实体,mapreduce可能不是最好的工具。

mapreduce可以生成mapreduce.operation.db.Put(实体)作为迭代器,app engine可以非常有效地处理更新。或者,您可以将db.put(实体)放在mapreduce方法中。听起来像是从文件中读取数据并更新所有相关实体,mapreduce可能不是最好的工具。

谢谢Shay的建议。我使用批量上传器将CSV文件上传到数据存储,但我不确定批量上传器是否能够专门处理Update语句!谢伊,谢谢你的回复,据我所知,批量上传器只能进行批量上传/下载。你有什么例子可以说明它是如何在任何时候进行更新的吗?Thanks@JimmySnatch如果您使用相同的密钥,则项目将被更新(或上载并覆盖)。这与“更新”有什么区别?@Shay-谢谢你的建议,非常感谢,我可以准确地看到你在说什么,但是问题是我找不到任何文档来设置批量加载时的密钥名称!请忽略我上一篇帖子,我真的很愚蠢!现在明白了,再次感谢你的建议。真不敢相信解决方案会那么简单,我把它弄得太复杂了!谢谢谢伊的建议。我使用批量上传器将CSV文件上传到数据存储,但我不确定批量上传器是否能够专门处理Update语句!谢伊,谢谢你的回复,据我所知,批量上传器只能进行批量上传/下载。你有什么例子可以说明它是如何在任何时候进行更新的吗?Thanks@JimmySnatch如果您使用相同的密钥,则项目将被更新(或上载并覆盖)。这与“更新”有什么区别?@Shay-谢谢你的建议,非常感谢,我可以准确地看到你在说什么,但是问题是我找不到任何文档来设置批量加载时的密钥名称!请忽略我上一篇帖子,我真的很愚蠢!现在明白了,再次感谢你的建议。真不敢相信解决方案会那么简单,我把它弄得太复杂了!谢谢Shi Yuan,是的,你是对的,我正在从文件中读取数据,并更新数据存储中的所有相关实体。如果Mapreduce不是要使用的方法,您建议使用什么方法?谢谢Shi Yuan,是的,你是对的,我正在从文件中读取数据,并更新数据存储中的所有相关实体。如果Mapreduce不是要使用的方法,您建议使用什么方法?谢谢