Apache kafka 属于两个不同数据流的rdd分区的spark流中的任务执行顺序

Apache kafka 属于两个不同数据流的rdd分区的spark流中的任务执行顺序,apache-kafka,spark-streaming,Apache Kafka,Spark Streaming,我正在运行spark流媒体应用程序 考虑在创建t1数据流D1时,内部数据流保持5 RDD(D1R1、D1R2、D1R3、D1R4、D1R5)和evry RDD 保存5个分区(对于D1R1的ex分区,命名为D1R1P1、D1R1P2、D1R1P3、D1R1P4、D1R1P5) 据我所知,RDD分区和计算构成了一个spark任务 让我们将对应于D1R1P1的任务命名为D1R1P1T1 类似地,在t2数据流D2创建时,内部数据流持有5个RDD(D2R1、D2R2、D2R3、D2R4、D2R5)和evr

我正在运行spark流媒体应用程序

考虑在创建t1数据流D1时,内部数据流保持5 RDD(D1R1、D1R2、D1R3、D1R4、D1R5)和evry RDD 保存5个分区(对于D1R1的ex分区,命名为D1R1P1、D1R1P2、D1R1P3、D1R1P4、D1R1P5)

据我所知,RDD分区和计算构成了一个spark任务

让我们将对应于D1R1P1的任务命名为D1R1P1T1

类似地,在t2数据流D2创建时,内部数据流持有5个RDD(D2R1、D2R2、D2R3、D2R4、D2R5)和evry RDD 保存5个分区(对于D2R1的ex分区,命名为D2R1P1、D2R1P2、D2R1P3、D2R1P4、D2R1P5)

让同一计算对应于D2R1P1的任务名为D2R1P1T1

spark将确保任务“D1R1P1T1”在所有场景中执行任务“D2R1P1T1”之前完成(正常运行 无任何故障、任务故障或节点故障)

cosider spark streamig采用无接收器方法(卡夫卡直接方法)