Cassandra 以GraphSON格式保存大型图形数据库时出错
我正在以扩展GraphSON格式将一个包含约8000万个节点和1.2亿条边(存储在3台Cassandra机器中)的大型图形数据库保存到本地文件系统。但是,一旦文件达到28 GB,gremlin shell就会崩溃,并始终出现以下错误:Cassandra 以GraphSON格式保存大型图形数据库时出错,cassandra,titan,gremlin,Cassandra,Titan,Gremlin,我正在以扩展GraphSON格式将一个包含约8000万个节点和1.2亿条边(存储在3台Cassandra机器中)的大型图形数据库保存到本地文件系统。但是,一旦文件达到28 GB,gremlin shell就会崩溃,并始终出现以下错误: java.lang.IllegalStateException: Could not find type for id: 322 at com.google.common.base.Preconditions.checkState(Preconditi
java.lang.IllegalStateException: Could not find type for id: 322
at com.google.common.base.Preconditions.checkState(Preconditions.java:176)
at com.thinkaurelius.titan.graphdb.types.vertices.TitanTypeVertex.getName(TitanTypeVertex.java:30)
at com.thinkaurelius.titan.graphdb.transaction.StandardTitanTx$VertexConstructor.get(StandardTitanTx.java:321)
at com.thinkaurelius.titan.graphdb.transaction.StandardTitanTx$VertexConstructor.get(StandardTitanTx.java:291)
at com.thinkaurelius.titan.graphdb.transaction.vertexcache.GuavaVertexCa
注意:保存为GraphSON格式的目的是将其移植到Titan的0.5版本。基于我之前发布的这个问题,我已经尝试与Faunus一起将其移动到HDFS,但没有成功
使用以下参数加载图形后,用于保存GraphSON文件的方法是:saveGraphSON:
storage.backend=cassandra
storage.hostname=sve1,sve2,sve3
storage.port=9160
storage.batch-loading=true
storage.buffer-size=8196
storage.keyspace=dbgraph
ids.block-size=50000
cache.db-cache=true
cache.db-cache-size=0.5
请您为我提供将图形成功保存为GraphSON格式的建议。可能不是因为数据太大,而是在迁移过程中,某些数据已损坏。当我在已经部署的集群上对索引和其他内容进行更改时,通常会出现这种异常。如果我删除所有数据并重新开始,这个错误就会消失。看到这个问题了吗。从所有这些证据来看,数据可能被破坏/没有正确索引,因此在检索时,他们抛出了这个错误。