Javascript 使用Node.js将许多记录插入Mongodb的正确方法

我想知道使用Node.js批量插入Mongodb（尽管可以是任何其他数据库）的正确方法是什么

我已经编写了以下代码作为示例，但我认为这是因为db.close（）可能会在所有异步collection.insert调用完成之前运行

MongoClient.connect('mongodb://127.0.0.1:27017/test', function (err, db) {
    var i, collection;
    if (err) {
        throw err;
    }
    collection = db.collection('entries');
    for (i = 0; i < entries.length; i++) {
        collection.insert(entries[i].entry);
    }
    db.close();
});

MongoClient.connect（'mongodb://127.0.0.1:27017/test，函数（err，db）{
变量i，集合；
如果（错误）{
犯错误；
}
collection=db.collection（'entries'）；
对于（i=0；i

您可以使用

insertMany

。它接受一个对象数组。如果您的MongoDB服务器是2.6或更高版本，请检查，最好利用write命令，该命令允许在服务器上执行大容量插入操作，而这些操作只是服务器上的抽象操作，因此可以轻松构建大容量操作，从而在大型集合上通过更新获得性能增益

成批发送大容量插入操作会减少到服务器的通信量，因此通过不在单个语句中发送所有内容，而是将其分解为可管理的块以实现服务器承诺，从而执行高效的有线事务。使用这种方法，在回调中等待响应的时间也更少

这些批量操作主要有两种口味：

• 有序批量操作。这些操作按顺序执行所有操作，并在第一次写入错误时出错
• 无序批量操作。这些操作并行执行所有操作，并汇总所有错误。无序的批量操作不能保证执行顺序

注意，对于2.6以上的旧服务器，API将向下转换操作。但是，不可能100%下变频，因此可能存在一些边缘情况，无法正确报告正确的数字

在您的情况下，可以按如下方式成批执行批量API插入操作：

用于MongoDB 3.2+使用

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    // Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulkUpdateOps = [];    

    entries.forEach(function(doc) {
        bulkUpdateOps.push({ "insertOne": { "document": doc } });

        if (bulkUpdateOps.length === 1000) {
            collection.bulkWrite(bulkUpdateOps).then(function(r) {
                // do something with result
            });
            bulkUpdateOps = [];
        }
    })

    if (bulkUpdateOps.length > 0) {
        collection.bulkWrite(bulkUpdateOps).then(function(r) {
            // do something with result
        });
    }
};

对于MongoDB

var MongoClient=require（'MongoDB'）。MongoClient；
var url='1〕mongodb://localhost:27017/test';
变量数据1={
名称：'Data1'，
作品：'学生'，
编号：4355453，
出生日期：新日期（1996年10月17日）
};
var数据2={
名称：'Data2'，
作品：'学生'，
编号：4355453，
出生日期：新日期（1996年10月17日）
};
连接（url，函数（err，db）{
if（err！=null）{
返回console.log（错误消息）
}
//插入器
db.collection（“App”）.insertOne（数据1，函数（错误，数据）{
if（err！=null）{
返回console.log（err）；
}
console.log（data.ops[0]）；
});
//插入许多
var数据=[data1，data2]；
db.collection（“App”）.insertMany（数据，forceServerObjectId=true，函数（err，数据）{
if（err！=null）{
返回console.log（err）；
}
console.log（data.ops）；
});
db.close（）；
});

版本3.2中新增

该方法提供了执行批量插入、更新和删除操作的能力。MongoDB还支持通过

在bulkWrite中，它只支持insertOne、updateOne、updateMany、replaceOne、deleteOne和deleteMany

在使用单行代码插入数据的情况下，可以使用insertMany选项

MongoClient.connect（'mongodb://127.0.0.1:27017/test，函数（err，db）{
变量i，集合；
如果（错误）{
犯错误；
}
collection=db.collection（'entries'）；
collection.insertMany（条目）
db.close（）；
});

如果

计数器%1000==0

您可能需要添加

db.close（），您将如何关闭数据库

语句块之后的code>语句最终关闭数据库。那么，当forEach的

bulk.execute

调用仍在运行时，您不会冒险调用

db.close（）

？因为这里

bulk.execute（）

是一个mongodb写操作，它是一个异步IO调用。这允许node.js在完成其db写入和回调之前继续执行事件循环。我已经用这个回调方法更新了我的答案。这是如此的方便，它工作得非常漂亮！感谢您的回答。如果您有少量记录要插入，这没关系，但如果您有数千条记录呢？在批量操作中，mongoDB（3.x）在单个组中处理1000个文档批次，对于更多文档，它会创建组并执行。请参阅中的另一个地方，此处重复了先前关于

insertMany

的评论：PyMongo将根据MongoDB接受的最大消息大小自动将批分割为更小的子批，支持非常大的批量插入操作。虽然此代码可能会回答这个问题，提供有关此代码为什么和/或如何回答此问题的其他上下文，可提高其长期价值。此代码仅适用于插入多条记录或单个记录示例“forceServerObjectId=true”，适用于重复的键错误id，谢谢

var MongoClient = require('mongodb').MongoClient;
var url = 'mongodb://localhost:27017/test';
var entries = [ ... ] // a huge array containing the entry objects

var createNewEntries = function(db, entries, callback) {

    // Get the collection and bulk api artefacts
    var collection = db.collection('entries'),          
        bulk = collection.initializeOrderedBulkOp(), // Initialize the Ordered Batch
        counter = 0;    

    // Execute the forEach method, triggers for each entry in the array
    entries.forEach(function(obj) {         

        bulk.insert(obj);           
        counter++;

        if (counter % 1000 == 0 ) {
            // Execute the operation
            bulk.execute(function(err, result) {  
                // re-initialise batch operation           
                bulk = collection.initializeOrderedBulkOp();
                callback();
            });
        }
    });             

    if (counter % 1000 != 0 ){
        bulk.execute(function(err, result) {
            // do something with result 
            callback();             
        }); 
    } 
};

MongoClient.connect(url, function(err, db) {
    createNewEntries(db, entries, function() {
        db.close();
    });
});