Apache kafka Spark SQL:带Kafka subscribepattern选项的结构流

Apache kafka Spark SQL:带Kafka subscribepattern选项的结构流,apache-kafka,apache-spark-sql,spark-streaming,kafka-consumer-api,Apache Kafka,Apache Spark Sql,Spark Streaming,Kafka Consumer Api,我正在用Kafka试用Spark SQL结构流媒体。我正在为kafka选项寻找这个强制选项subscribePattern[Java正则表达式字符串]。显然,只有3个值是可能的:“分配”、“订阅”或“订阅模式” 当我在谷歌上搜索这个选项时,最有用的信息如下: 有没有人能用外行的话告诉我这三种选择中最明显的区别?Spark SQL的不同表现是什么?我不熟悉Spark,但是,对于Kafka消费者来说,有三种选择: 分配:手动分配主题分区(即,您可以执行任何您想要的分区分配)。这将禁用使用者组管理,

我正在用Kafka试用Spark SQL结构流媒体。我正在为kafka选项寻找这个强制选项subscribePattern[Java正则表达式字符串]。显然,只有3个值是可能的:“分配”、“订阅”或“订阅模式”

当我在谷歌上搜索这个选项时,最有用的信息如下:


有没有人能用外行的话告诉我这三种选择中最明显的区别?Spark SQL的不同表现是什么?我不熟悉Spark,但是,对于Kafka消费者来说,有三种选择:

  • 分配:手动分配主题分区(即,您可以执行任何您想要的分区分配)。这将禁用使用者组管理,因此,如果您有多个使用者,并且希望平衡负载,则需要自己注意不要分配两次分区
  • 订阅:指定一组要从中读取的主题。使用者组管理将实际分配分区(即,如果组中有多个使用者,则分区将分布在组中的所有使用者上)
  • 模式:与(2)类似,但是您可以指定一个正则表达式并订阅与正则表达式匹配的所有主题