Java 如何刷新广播变量_Java_Scala_Apache Spark_Apache Spark Sql_Spark Streaming

Java 如何刷新广播变量

java scala apache-spark

Java 如何刷新广播变量,java,scala,apache-spark,apache-spark-sql,spark-streaming,Java,Scala,Apache Spark,Apache Spark Sql,Spark Streaming,我正在使用spark-sql-2.4.1v、kafka客户端10.x和java8。我需要在spark应用程序中广播一些配置/元数据信息目前使用spark结构化流媒体，在我的应用程序中，每隔几次数据中，我的元数据就会发生更改，即添加新记录或更改当前记录信息由于它是一个流式应用程序，我只在加载所有这些元数据并广播它时启动应用程序/spark作业一次几天后，元数据中的某些内容将更改如何在每个执行器上加载和填充这些更改，即如何刷新每个执行器上的元数据？。这不是问题的重复吗？是的。试试看

我正在使用spark-sql-2.4.1v、kafka客户端10.x和java8。我需要在spark应用程序中广播一些配置/元数据信息

目前使用spark结构化流媒体，在我的应用程序中，每隔几次数据中，我的元数据就会发生更改，即添加新记录或更改当前记录信息

由于它是一个流式应用程序，我只在加载所有这些元数据并广播它时启动应用程序/spark作业一次

几天后，元数据中的某些内容将更改如何在每个执行器上加载和填充这些更改，即如何刷新每个执行器上的元数据？

。这不是问题的重复吗？是的。试试看