Apache spark Spark DStream.transform().foreachRDD()与DStream.foreachRDD()的比较
因此,我想知道,首先在直接流上应用转换,然后调用foreachRDD,而不是只调用后者,是否会有显著的区别。区别在于调用Apache spark Spark DStream.transform().foreachRDD()与DStream.foreachRDD()的比较,apache-spark,Apache Spark,因此,我想知道,首先在直接流上应用转换,然后调用foreachRDD,而不是只调用后者,是否会有显著的区别。区别在于调用transform()时所做的转换。从中,transform接受一个函数:transform(func)。根据func的实现,结果会有所不同 用Spark的术语简化DAG: DStream.transform().foreachRDD()是Transformation->Action DStream.foreachRDD()只是一个动作我认为您应该阅读@YuvalItzchak
transform()
时所做的转换。从中,transform
接受一个函数:transform(func)。根据func
的实现,结果会有所不同
用Spark的术语简化DAG:
DStream.transform().foreachRDD()是Transformation->Action
DStream.foreachRDD()只是一个动作我认为您应该阅读@YuvalItzchakov post:这取决于调用
transform
时所做的转换。您将传递什么函数到transform()
?假设此函数是RDD上的一个简单映射(或任何不会导致混乱的转换),它会通过构建DAG显著提高性能吗(因为这基本上就是我们通过调用转换或任何转换所做的)?