Java 将csv数据转换为图形数据

Java 将csv数据转换为图形数据,java,apache,hadoop,graph,giraph,Java,Apache,Hadoop,Graph,Giraph,我正在试验ApacheGiraph。我需要为驻留在HDFS中的csv文件创建一个简单的图形,它显示两列之间的关系。(受害者与商店名称相关) 我的数据大小大于1Gb的csv格式。最初尝试使用java和本地文件使用neo4j。但它只能加载小数据,无法直接从HDFS导入数据。我的数据可能会增加,所以考虑使用ApacheGiraph 但如何实现同样的目标呢 希望apache giraph只接受vertext格式的输入。我的数据是csv格式的。那么有没有任何工具可以将我的csv转换为图形格式,并将其作为输

我正在试验ApacheGiraph。我需要为驻留在HDFS中的csv文件创建一个简单的图形,它显示两列之间的关系。(受害者与商店名称相关) 我的数据大小大于1Gb的csv格式。最初尝试使用java和本地文件使用neo4j。但它只能加载小数据,无法直接从HDFS导入数据。我的数据可能会增加,所以考虑使用ApacheGiraph

但如何实现同样的目标呢


希望apache giraph只接受vertext格式的输入。我的数据是csv格式的。那么有没有任何工具可以将我的csv转换为图形格式,并将其作为输入提供给giraph,以便在图形中进行计算。

我也有同样的疑问,尽管很多回答似乎建议将图形改写为giraph之外的标准格式,这是没有必要的

您应该检查标准类的实现:

这将读取一个TSV文件(这是类名的“
Text
”部分),其中包含一对整数顶点ID(这是表单的“
Int
”部分):

1   2
2   4
3   2
4   1
...
不考虑边缘元数据,只考虑一对顶点(这是“
Null
”部分)

此示例可以通过更改<代码>分隔符,或者通过将代码> >可引用的< /代码>转换为<代码>文本< /代码>(同样适用于其他类型)来很容易地适应CSV。


输入格式稍后会被选择作为传递给框架的属性(提供您希望用于解析输入数据的类的完全限定名)。

我也有同样的疑问,虽然许多回答似乎建议将图形重写为Giraph之外的标准格式,但这并不是必需的

您应该检查标准类的实现:

这将读取一个TSV文件(这是类名的“
Text
”部分),其中包含一对整数顶点ID(这是表单的“
Int
”部分):

1   2
2   4
3   2
4   1
...
不考虑边缘元数据,只考虑一对顶点(这是“
Null
”部分)

此示例可以通过更改<代码>分隔符,或者通过将代码> >可引用的< /代码>转换为<代码>文本< /代码>(同样适用于其他类型)来很容易地适应CSV。


稍后将选择输入格式作为传递给框架的属性(提供您希望用于解析输入数据的类的完全限定名)。

您的问题是什么?我们为您进行所需的研究和设计?我是否应该以图形格式制作csv数据并提供给giraph进行进一步计算?您的问题是什么?我们是否为您进行所需的研究和设计?我是否应该以图形格式制作csv数据并提供给giraph进行进一步计算?