Import Neo4J:如何从csv加载20亿条记录?
我正在尝试将包含20亿条记录的csv数据导入Neo4J,现在我使用以下查询(在我的实际查询中,我有40个属性和5种类型的节点):Import Neo4J:如何从csv加载20亿条记录?,import,neo4j,cypher,bigdata,neo4j-apoc,Import,Neo4j,Cypher,Bigdata,Neo4j Apoc,我正在尝试将包含20亿条记录的csv数据导入Neo4J,现在我使用以下查询(在我的实际查询中,我有40个属性和5种类型的节点): 调用apoc.periodic.commit(“从中加载带有标题的CSV”file:///person_job.csv“因为 行字段终止符“|”,行作为 其中非a.id为空 合并(b:Person{id:a.id}) 合并(c:Job{type:a.type}) 合并(b)如果这是一次性加载或初始加载,则应使用Neo4j导入。 2M是一个较大的提交。请确保您有一个较大
调用apoc.periodic.commit(“从中加载带有标题的CSV”file:///person_job.csv“因为
行字段终止符“|”,行作为
其中非a.id为空
合并(b:Person{id:a.id})
合并(c:Job{type:a.type})
合并(b)如果这是一次性加载或初始加载,则应使用Neo4j导入。
2M是一个较大的提交。请确保您有一个较大的堆大小来处理该问题。如果不使用“使用定期提交”命令,我如何能够进行定期提交?
call apoc.periodic.commit("LOAD CSV with headers from 'file:///person_job.csv' as
row fieldterminator '|' WITH row as a
WHERE NOT a.id IS NULL
MERGE (b:Person{id:a.id})
MERGE (c:Job{type:a.type})
MERGE (b)<-[:RELATED_TO]-(c)",{limit:2000000});