Apache spark 使用动态模式读取传入事件的单火花流作业

Apache spark 使用动态模式读取传入事件的单火花流作业,apache-spark,spark-streaming,spark-structured-streaming,Apache Spark,Spark Streaming,Spark Structured Streaming,我正在尝试创建一个spark结构化流媒体作业,该作业读取卡夫卡主题,来自该卡夫卡主题的事件将具有不同的模式(传入事件没有标准模式) 传入事件示例: event1: {timestamp:2018-09-28T15:50:57.2420418+00:00, value: 11} event2: {timestamp:2018-09-28T15:50:57.2420418+00:00, value: 11, location:abc} event3: {order_id:1, ordervalue:

我正在尝试创建一个spark结构化流媒体作业,该作业读取卡夫卡主题,来自该卡夫卡主题的事件将具有不同的模式(传入事件没有标准模式)

传入事件示例:

event1: {timestamp:2018-09-28T15:50:57.2420418+00:00, value: 11}
event2: {timestamp:2018-09-28T15:50:57.2420418+00:00, value: 11, location:abc}
event3: {order_id:1, ordervalue: 11}
如何创建spark结构化流来读取上述事件,而不停止spark作业以进行任何新的模式更改

此外,在使用spark.readStream()时,我们可能需要提供模式。我想读取一小部分传入数据,并从中导出模式。但是,这在这里可能不起作用,因为传入的数据是不同的,并且每个传入事件可能有不同的模式