Javascript 使用nodejs读取多个文件的最佳方法？

我有大量的文件路径。我正在从一个流式glob模块获取此路径列表

我将这个流传输到另一个流，该流正在为每个路径创建

fileReadStreams

，并很快达到一些限制。我得到的是：

警告：检测到可能的EventEmitter内存泄漏。增加了11名听众。使用emitter.setMaxListeners（）增加限制

还有

错误：EMFILE，打开

我尝试过冲击
maxListeners
，但我有大约9000个文件将创建流，我担心会消耗内存，因为这个数字不是恒定的，而且会增长。我可以取消这里的限制吗

我应该同步进行吗？或者我应该迭代路径并按顺序读取文件？这不会仍然使用for循环一次执行所有读取吗？
最大侦听器就是这样。仅控制何时将该消息打印到控制台，而不控制其他内容。您可以禁用它，也可以忽略它

EMFILE
是您的操作系统对您的进程一次可以拥有的打开文件（文件描述符）的数量实施限制。你可以通过以下方式避免这种情况

因为通过运行数千个并发文件系统操作使磁盘饱和并不能提高性能，事实上，这会损害性能，特别是在传统的非SSD驱动器上，一次只运行数量可控的操作是一个好主意

我可能会使用，它允许您在一个循环中将每个文件的名称推送到队列中，然后一次只运行n个操作。当一个操作完成时，队列中的下一个操作开始

例如：

var q = async.queue(function (file, cb) {
    var stream = fs.createReadStream(file.path);
    // ...
    stream.on('end', function() {
        // finish up, then
        cb();
    });
}, 2);

globStream.on('data', function(file) {
    q.push(file);
});

globStream.on('end', function() {
    // We don't want to add the `drain` handler until *after* the globstream
    // finishes.  Otherwise, we could end up in a situation where the globber
    // is still running but all pending file read operations have finished.
    q.drain = function() {
        // All done with everything.
    };

    // ...and if the queue is empty when the globber finishes, make sure the done
    // callback gets called.
    if (q.idle()) q.drain();
});

您可能需要进行一些实验，为您的应用程序找到正确的并发数。
@kevzettler:因为您的测试从未实际使用数据。