Python 如何在mongoDB中处理4TB的数据
我试图使用脚本在mongoDB中插入数据,但数据大小变为4TB。如果我开始使用碎片,合并和拆分过程将变得更加繁重。我的分片密钥是objectID生成的时间戳Python 如何在mongoDB中处理4TB的数据,python,mongodb,sharding,Python,Mongodb,Sharding,我试图使用脚本在mongoDB中插入数据,但数据大小变为4TB。如果我开始使用碎片,合并和拆分过程将变得更加繁重。我的分片密钥是objectID生成的时间戳 如果我做得对,请发表评论。这是在切分密钥中使用时间戳(如时间戳或ObjectId)的缺点。所有数据最初都将写入单个分片(具有最后一个分片的分片),平衡器必须非常努力地拆分分片并将数据迁移到其他分片 您可以使用两种变通方法: 改为使用传统的远程分片;这将使插入内容更均匀地分布在不同的碎片上 设计一个不同的切分键
如果我做得对,请发表评论。这是在切分密钥中使用时间戳(如时间戳或ObjectId)的缺点。所有数据最初都将写入单个分片(具有最后一个分片的分片),平衡器必须非常努力地拆分分片并将数据迁移到其他分片 您可以使用两种变通方法: