Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/mongodb/13.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何在mongoDB中处理4TB的数据_Python_Mongodb_Sharding - Fatal编程技术网

Python 如何在mongoDB中处理4TB的数据

Python 如何在mongoDB中处理4TB的数据,python,mongodb,sharding,Python,Mongodb,Sharding,我试图使用脚本在mongoDB中插入数据,但数据大小变为4TB。如果我开始使用碎片,合并和拆分过程将变得更加繁重。我的分片密钥是objectID生成的时间戳 如果我做得对,请发表评论。这是在切分密钥中使用时间戳(如时间戳或ObjectId)的缺点。所有数据最初都将写入单个分片(具有最后一个分片的分片),平衡器必须非常努力地拆分分片并将数据迁移到其他分片 您可以使用两种变通方法: 改为使用传统的远程分片;这将使插入内容更均匀地分布在不同的碎片上 设计一个不同的切分键

我试图使用脚本在mongoDB中插入数据,但数据大小变为4TB。如果我开始使用碎片,合并和拆分过程将变得更加繁重。我的分片密钥是objectID生成的时间戳


如果我做得对,请发表评论。

这是在切分密钥中使用时间戳(如时间戳或ObjectId)的缺点。所有数据最初都将写入单个分片(具有最后一个分片的分片),平衡器必须非常努力地拆分分片并将数据迁移到其他分片

您可以使用两种变通方法:

  • 改为使用传统的远程分片;这将使插入内容更均匀地分布在不同的碎片上
  • 设计一个不同的切分键