Java 将csv数据转换为图形数据
我正在试验ApacheGiraph。我需要为驻留在HDFS中的csv文件创建一个简单的图形,它显示两列之间的关系。(受害者与商店名称相关) 我的数据大小大于1Gb的csv格式。最初尝试使用java和本地文件使用neo4j。但它只能加载小数据,无法直接从HDFS导入数据。我的数据可能会增加,所以考虑使用ApacheGiraph 但如何实现同样的目标呢Java 将csv数据转换为图形数据,java,apache,hadoop,graph,giraph,Java,Apache,Hadoop,Graph,Giraph,我正在试验ApacheGiraph。我需要为驻留在HDFS中的csv文件创建一个简单的图形,它显示两列之间的关系。(受害者与商店名称相关) 我的数据大小大于1Gb的csv格式。最初尝试使用java和本地文件使用neo4j。但它只能加载小数据,无法直接从HDFS导入数据。我的数据可能会增加,所以考虑使用ApacheGiraph 但如何实现同样的目标呢 希望apache giraph只接受vertext格式的输入。我的数据是csv格式的。那么有没有任何工具可以将我的csv转换为图形格式,并将其作为输
希望apache giraph只接受vertext格式的输入。我的数据是csv格式的。那么有没有任何工具可以将我的csv转换为图形格式,并将其作为输入提供给giraph,以便在图形中进行计算。我也有同样的疑问,尽管很多回答似乎建议将图形改写为giraph之外的标准格式,这是没有必要的 您应该检查标准类的实现: 这将读取一个TSV文件(这是类名的“
Text
”部分),其中包含一对整数顶点ID(这是表单的“Int
”部分):
1 2
2 4
3 2
4 1
...
不考虑边缘元数据,只考虑一对顶点(这是“Null
”部分)
此示例可以通过更改<代码>分隔符,或者通过将代码> >可引用的< /代码>转换为<代码>文本< /代码>(同样适用于其他类型)来很容易地适应CSV。
输入格式稍后会被选择作为传递给框架的属性(提供您希望用于解析输入数据的类的完全限定名)。我也有同样的疑问,虽然许多回答似乎建议将图形重写为Giraph之外的标准格式,但这并不是必需的 您应该检查标准类的实现: 这将读取一个TSV文件(这是类名的“
Text
”部分),其中包含一对整数顶点ID(这是表单的“Int
”部分):
1 2
2 4
3 2
4 1
...
不考虑边缘元数据,只考虑一对顶点(这是“Null
”部分)
此示例可以通过更改<代码>分隔符,或者通过将代码> >可引用的< /代码>转换为<代码>文本< /代码>(同样适用于其他类型)来很容易地适应CSV。
稍后将选择输入格式作为传递给框架的属性(提供您希望用于解析输入数据的类的完全限定名)。您的问题是什么?我们为您进行所需的研究和设计?我是否应该以图形格式制作csv数据并提供给giraph进行进一步计算?您的问题是什么?我们是否为您进行所需的研究和设计?我是否应该以图形格式制作csv数据并提供给giraph进行进一步计算?