Graph 如何为复杂示例构建沿袭图

Graph 如何为复杂示例构建沿袭图,graph,rdd,Graph,Rdd,举个简单的例子,如下所示: val rdd1 = sc.makeRDD(20 to 100) .filter(_ % 8 == 0).map(Math.sqrt(_)).map(e1 => (e1.toInt, e1)).cache() rdd1.collect 当然,我们可以从spark UI观察血统。此外,我们可以使用rdd1.toDebugString轻松获得沿袭图。但是当我有一个复杂的应用程序时(就像KMeansExample),我们总是一次只看到一个作业 那么,如何获得所有

举个简单的例子,如下所示:

val rdd1 = sc.makeRDD(20 to 100)
  .filter(_ % 8 == 0).map(Math.sqrt(_)).map(e1 => (e1.toInt, e1)).cache()
rdd1.collect
当然,我们可以从spark UI观察血统。此外,我们可以使用
rdd1.toDebugString
轻松获得沿袭图。但是当我有一个复杂的应用程序时(就像KMeansExample),我们总是一次只看到一个作业


那么,如何获得所有作业的整个图表?但是最近我怎么能自动获得一个沿袭图或一些结构化的表示格式呢?

添加一些更多的信息…感谢您的回复,我的意思是,对于一个简单的例子,仅仅有一个作业(如上面的问题),我们可以使用api来获取rdd依赖项,然后我们就可以获得沿袭。但当我们有复杂的应用(有许多工作)时,每个工作都有斯巴库伊的太阳镜。如何让所有作业的整个沿袭只形成一个图(一个图演示所有RDD依赖项)