Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何在配置文件中设置SparkSession.readStream属性?_Apache Spark_Apache Kafka_Apache Spark Sql_Spark Structured Streaming - Fatal编程技术网

Apache spark 如何在配置文件中设置SparkSession.readStream属性?

Apache spark 如何在配置文件中设置SparkSession.readStream属性?,apache-spark,apache-kafka,apache-spark-sql,spark-structured-streaming,Apache Spark,Apache Kafka,Apache Spark Sql,Spark Structured Streaming,我第一次使用spark结构化流媒体,也是第一次与卡夫卡进行spark会话。我知道如何使用Spark上下文的配置文件来设置conf属性,但在Spark会话中我看不到这么简单。 下面是我的Spark会话配置 val传入数据=spark .readStream .格式(“卡夫卡”) .option(“kafka.bootstrap.servers”,“boot\u strap\u server\u list”) .选项(“订阅”、“主题名称”) .load() 我认为您需要创建自己的特定于应用程序的配

我第一次使用spark结构化流媒体,也是第一次与卡夫卡进行spark会话。我知道如何使用Spark上下文的配置文件来设置conf属性,但在Spark会话中我看不到这么简单。 下面是我的Spark会话配置

val传入数据=spark
.readStream
.格式(“卡夫卡”)
.option(“kafka.bootstrap.servers”,“boot\u strap\u server\u list”)
.选项(“订阅”、“主题名称”)
.load()

我认为您需要创建自己的特定于应用程序的配置项并加载它们。请参阅Typesafe的配置库,了解如何执行此操作。在应用程序开始时,您需要加载属性文件(不管您喜欢什么方式)。。例如,如果选择一个json文件,读取该文件,解析json,然后通过键访问它以检索所需的属性值