MongoDB将大量文档导出为CSV或JSON字符串
我正在尝试将大量平均大小为20K的文档(300K+)导出到CSV或JSON中 对于CSV,Mongoexport需要>20分钟;对于JSON,Mongoexport需要>10分钟。MongoDB将大量文档导出为CSV或JSON字符串,json,mongodb,csv,export,Json,Mongodb,Csv,Export,我正在尝试将大量平均大小为20K的文档(300K+)导出到CSV或JSON中 对于CSV,Mongoexport需要>20分钟;对于JSON,Mongoexport需要>10分钟。 使用Javascript printjson()更糟糕 PyMongo大约需要5分钟 还有其他建议吗?导出到CSV的推荐方式是mongoexport,我非常怀疑会有更快的方式。您还必须了解,您正在读取6GB的数据,然后在磁盘上写入6GB的数据。所以我不希望这种情况马上发生 printjson的行为会慢得多,因为您需要
使用Javascript printjson()更糟糕 PyMongo大约需要5分钟
还有其他建议吗?导出到CSV的推荐方式是
mongoexport
,我非常怀疑会有更快的方式。您还必须了解,您正在读取6GB的数据,然后在磁盘上写入6GB的数据。所以我不希望这种情况马上发生
printjson的行为会慢得多,因为您需要在屏幕上输出所有这些文本
问题是你为什么要这样做?如果要将数据从一个数据库复制到另一个数据库,如果要创建备份,/mongorestore更好
p.S.mongo是无模式的,所以在导出到csv时需要指定所需的字段,我假设这比转换为JSON增加了额外的时间。您已经找到了此…plz更新的解决方案