Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 我可以使用graphx单独处理局部图形吗?_Apache Spark_Parallel Processing_Graph Algorithm_Graph Databases_Spark Graphx - Fatal编程技术网

Apache spark 我可以使用graphx单独处理局部图形吗?

Apache spark 我可以使用graphx单独处理局部图形吗?,apache-spark,parallel-processing,graph-algorithm,graph-databases,spark-graphx,Apache Spark,Parallel Processing,Graph Algorithm,Graph Databases,Spark Graphx,在对大型图进行分区之后(我使用strategy EdgePartition2d对图进行了分区)。我想知道我是否可以在每台机器上分别处理这些小图。例如,每台机器X拥有原始图的一小部分,我想遍历局部图,或者并行计算每台机器上局部图中每个顶点的局部中心度。graphx适合吗?如果没有,我应该选择什么图形引擎 你能在这里提供一些背景吗。如何划分图形?你说的地方中心是什么意思?另一方面,软件建议与SO无关。如果你想继续回答这个问题,我会删除这个部分。@zero323我用strategy EdgeParti

在对大型图进行分区之后(我使用strategy EdgePartition2d对图进行了分区)。我想知道我是否可以在每台机器上分别处理这些小图。例如,每台机器X拥有原始图的一小部分,我想遍历局部图,或者并行计算每台机器上局部图中每个顶点的局部中心度。graphx适合吗?如果没有,我应该选择什么图形引擎

你能在这里提供一些背景吗。如何划分图形?你说的地方中心是什么意思?另一方面,软件建议与SO无关。如果你想继续回答这个问题,我会删除这个部分。@zero323我用strategy EdgePartition2d对图进行了分区。事实上,中心性的概念并不重要。我真正想知道的是,graphx是否允许所有机器分别并行处理它们的局部图(只需使用机器上的分区,将其视为独立的小图),并从所有这些分区返回答案。基本上,您想访问内部表示吗?好吧,这在技术上是可能的,但是如果这是你的问题的话,没有公共API来处理这个问题。@zero323如果graphx中没有公共API,你知道有其他的图形引擎可以做到吗?不太可能。由于EdgePartition2d似乎使用邻接矩阵,那么基本的Spark工具(
mllib.linalg.distributed
)和一些本地图形处理库(例如PySpark+NetworkX)应该可以正常工作。您可以在这里提供一些上下文吗。如何划分图形?你说的地方中心是什么意思?另一方面,软件建议与SO无关。如果你想继续回答这个问题,我会删除这个部分。@zero323我用strategy EdgePartition2d对图进行了分区。事实上,中心性的概念并不重要。我真正想知道的是,graphx是否允许所有机器分别并行处理它们的局部图(只需使用机器上的分区,将其视为独立的小图),并从所有这些分区返回答案。基本上,您想访问内部表示吗?好吧,这在技术上是可能的,但是如果这是你的问题的话,没有公共API来处理这个问题。@zero323如果graphx中没有公共API,你知道有其他的图形引擎可以做到吗?不太可能。由于EdgePartition2d似乎使用邻接矩阵,因此基本的Spark工具(
mllib.linalg.distributed
)和一些本地图形处理库(例如PySpark+NetworkX)应该可以正常工作。