Apache spark 如何在下一批驱动程序代码中使用spark中的mapWithState结果

Apache spark 如何在下一批驱动程序代码中使用spark中的mapWithState结果,apache-spark,streaming,Apache Spark,Streaming,我正在使用mapWithState维护用户配置文件状态,我想在下一个流批处理的驱动程序代码中使用mapWithState的结果 有什么办法吗?为什么要这样做?@YuvalItzchakov我正在使用spark streaming构建一个实时用户配置文件系统,我正在使用mapWithState维护用户配置文件状态30分钟,并将用户配置文件状态转储到hbase。如果用户记录在30分钟超时后出现,我将从hbase获取该用户存储的用户配置文件状态,但在mapWithState中建立hbase连接将为每个

我正在使用mapWithState维护用户配置文件状态,我想在下一个流批处理的驱动程序代码中使用mapWithState的结果


有什么办法吗?

为什么要这样做?@YuvalItzchakov我正在使用spark streaming构建一个实时用户配置文件系统,我正在使用mapWithState维护用户配置文件状态30分钟,并将用户配置文件状态转储到hbase。如果用户记录在30分钟超时后出现,我将从hbase获取该用户存储的用户配置文件状态,但在mapWithState中建立hbase连接将为每个新条目创建新的hbase连接。因此,我决定在mWState之前从hbase预取用户配置文件状态,以便在mWState中使用它。contd..因此,我需要mapWithState的o/p检查是否需要基于每个分区从hbase获取用户配置文件状态,然后从hbase获取所需的用户状态,然后在mapWithState中使用这些结果