Node.js NodeJS内存泄漏
我一直在尝试使用nodejs,编写一个使用代理的webscraper。 我试图从代理文件加载所有代理。在本例中为“proxies.txt” 我不明白的是,当webscraper运行时,它给了我以下信息Node.js NodeJS内存泄漏,node.js,Node.js,我一直在尝试使用nodejs,编写一个使用代理的webscraper。 我试图从代理文件加载所有代理。在本例中为“proxies.txt” 我不明白的是,当webscraper运行时,它给了我以下信息 (node:21470) MaxListenersExceededWarning: Possible EventEmitter memory leak detected. 11 pipe listeners added. Use emitter.setMaxListeners() to incre
(node:21470) MaxListenersExceededWarning: Possible EventEmitter memory leak detected. 11 pipe listeners added. Use emitter.setMaxListeners() to increase limit
如果我手动创建多个代理的数组,则不会发生这种情况
下面是我将代理从文件加载到数组的代码
var proxy_array = [];
if (! proxy_array.length ) {
var proxy_file = fs.readFileSync('./proxies.txt', 'utf8');
var split = proxy_file.split('\n');
for(var i = 0; i < split.length; i++){
var trimmed_proxy = split[i].replace('\r', ''); //removes the \r that gets added while i split the list i think?
proxy_array.push(trimmed_proxy);
}
}
console.log(proxy_array); //it does return all proxies.
var proxy_array=[];
如果(!proxy_array.length){
var proxy_file=fs.readFileSync('./proxies.txt',utf8');
var split=proxy_file.split('\n');
对于(变量i=0;i
提前谢谢你的帮助
问候语这是您的全部代码吗?我看不到你呼叫的任何地方
.pipe
。我想它可能是Node.js库的内部文件,但它看起来很奇怪。此外,如果这个文件的长度相当大,那么将其作为流处理会使您受益匪浅。有用于逐行流媒体的NPM包。