Fatal编程技术网
  • csv/
  • Csv 将非常大的数据集导入arangoDB时出错

Csv 将非常大的数据集导入arangoDB时出错

csv import arangodb

Csv 将非常大的数据集导入arangoDB时出错,csv,import,arangodb,arangoimp,Csv,Import,Arangodb,Arangoimp,我正试图通过arangoimp将一个巨大的数据集导入ArangoDB。大约5500万条边。I alreasy将wal.logfile的大小从32k增加到1024k。这解决了最后一个错误。但现在我得到了以下错误： WARNING {collector} got unexpected error in MMFilesCollectorThread::collect: no journal ERROR cannot create datafile '/usr/local/var/lib/arangod

我正试图通过arangoimp将一个巨大的数据集导入ArangoDB。大约5500万条边。I alreasy将wal.logfile的大小从32k增加到1024k。这解决了最后一个错误。但现在我得到了以下错误：

WARNING {collector} got unexpected error in MMFilesCollectorThread::collect: no journal
ERROR cannot create datafile '/usr/local/var/lib/arangodb3/databases/database-1/collection-2088918365-385765492/temp-2153337069.db': Too many open files
Importstatement是：
arangoimp--文件链接\u de.csv--键入csv--收集链接

有没有一种方法可以让arangoimp像做块或其他事情一样更迭代地工作？由于CSV的大小，我将很难将其拆分为某些部分

非常感谢

我终于解决了这个问题： 
提示打开的文件太多。您需要提高打开文件句柄的限制。因此，在unix/mac os上启动arango之前，请运行
ulimit-n 16384
或更高版本，以提高此shell会话的限制。之后，导入仍然需要几个小时，但对我有效。您还可以在arango中增加集合的日志大小，以减少所需的文件句柄数


另请参见此处：
更多错误消息：
错误{compactor}无法创建压缩程序文件：没有日志
错误无法创建数据文件“/usr/local/var/lib/arangodb3/databases/database-1/collection-42-2031239911/compression-110.db”：打开的文件太多