Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark DStream.transform().foreachRDD()与DStream.foreachRDD()的比较_Apache Spark - Fatal编程技术网

Apache spark Spark DStream.transform().foreachRDD()与DStream.foreachRDD()的比较

Apache spark Spark DStream.transform().foreachRDD()与DStream.foreachRDD()的比较,apache-spark,Apache Spark,因此,我想知道,首先在直接流上应用转换,然后调用foreachRDD,而不是只调用后者,是否会有显著的区别。区别在于调用transform()时所做的转换。从中,transform接受一个函数:transform(func)。根据func的实现,结果会有所不同 用Spark的术语简化DAG: DStream.transform().foreachRDD()是Transformation->Action DStream.foreachRDD()只是一个动作我认为您应该阅读@YuvalItzchak

因此,我想知道,首先在直接流上应用转换,然后调用foreachRDD,而不是只调用后者,是否会有显著的区别。

区别在于调用
transform()
时所做的转换。从中,
transform
接受一个函数:transform(func)。根据
func
的实现,结果会有所不同

用Spark的术语简化DAG:

DStream.transform().foreachRDD()是Transformation->Action


DStream.foreachRDD()只是一个动作

我认为您应该阅读@YuvalItzchakov post:这取决于调用
transform
时所做的转换。您将传递什么函数到
transform()
?假设此函数是RDD上的一个简单映射(或任何不会导致混乱的转换),它会通过构建DAG显著提高性能吗(因为这基本上就是我们通过调用转换或任何转换所做的)?