Pyspark state.HDFSBackedStateStoreProvider:1780版本的状态不为';不存在于加载的映射中

Pyspark state.HDFSBackedStateStoreProvider:1780版本的状态不为';不存在于加载的映射中,pyspark,window,streaming,structure,Pyspark,Window,Streaming,Structure,我使用的是Spark 2.4.0和kafka 2.10。 我目前正在从事Spark结构化流媒体窗口的工作,并在纱线上运行。似乎每个批次间隔我都会收到警告,然后作业就停止了: WARN state.HDFSBackedStateStoreProvider:版本1780的状态在loadedMaps中不存在。如果需要,读取快照文件和增量文件…请注意,这对于第一批启动查询是正常的 这是我的密码: df.writeStream\ .foreachBatch(handle_kafka.__exe

我使用的是Spark 2.4.0和kafka 2.10。 我目前正在从事Spark结构化流媒体窗口的工作,并在纱线上运行。似乎每个批次间隔我都会收到警告,然后作业就停止了:

WARN state.HDFSBackedStateStoreProvider:版本1780的状态在loadedMaps中不存在。如果需要,读取快照文件和增量文件…请注意,这对于第一批启动查询是正常的

这是我的密码:

df.writeStream\
    .foreachBatch(handle_kafka.__execute)\
    .option("checkpointLocation", "/user/hive/warehouse/tempdb.db/kafka_silver_gamelog_streaming") \
    .outputMode("update")
    .start()
请帮我解决同样的问题。这个问题可能有解决办法,如果有,请建议我