Apache spark 如何在配置文件中设置SparkSession.readStream属性?
我第一次使用spark结构化流媒体,也是第一次与卡夫卡进行spark会话。我知道如何使用Spark上下文的配置文件来设置conf属性,但在Spark会话中我看不到这么简单。 下面是我的Spark会话配置Apache spark 如何在配置文件中设置SparkSession.readStream属性?,apache-spark,apache-kafka,apache-spark-sql,spark-structured-streaming,Apache Spark,Apache Kafka,Apache Spark Sql,Spark Structured Streaming,我第一次使用spark结构化流媒体,也是第一次与卡夫卡进行spark会话。我知道如何使用Spark上下文的配置文件来设置conf属性,但在Spark会话中我看不到这么简单。 下面是我的Spark会话配置 val传入数据=spark .readStream .格式(“卡夫卡”) .option(“kafka.bootstrap.servers”,“boot\u strap\u server\u list”) .选项(“订阅”、“主题名称”) .load() 我认为您需要创建自己的特定于应用程序的配
val传入数据=spark
.readStream
.格式(“卡夫卡”)
.option(“kafka.bootstrap.servers”,“boot\u strap\u server\u list”)
.选项(“订阅”、“主题名称”)
.load()
我认为您需要创建自己的特定于应用程序的配置项并加载它们。请参阅Typesafe的配置库,了解如何执行此操作。在应用程序开始时,您需要加载属性文件(不管您喜欢什么方式)。。例如,如果选择一个json文件,读取该文件,解析json,然后通过键访问它以检索所需的属性值