Csv 无法使用Spark structured streaming读取流文件

Csv 无法使用Spark structured streaming读取流文件,csv,apache-spark,hive,apache-spark-sql,spark-structured-streaming,Csv,Apache Spark,Hive,Apache Spark Sql,Spark Structured Streaming,我有一组CSV文件,需要通过Spark结构化流媒体读取。创建DataFrame后,我需要加载到配置单元表中 当通过spark submit运行代码之前文件已经存在时,数据将成功加载到配置单元中。但当我在运行时添加新的CSV文件时,它根本不会将其插入配置单元中 代码是: import org.apache.spark.sql.SparkSession 导入org.apache.spark.sql.functions_ 导入org.apache.spark.sql.streaming.OutputM

我有一组CSV文件,需要通过Spark结构化流媒体读取。创建
DataFrame
后,我需要加载到配置单元表中

当通过
spark submit
运行代码之前文件已经存在时,数据将成功加载到配置单元中。但当我在运行时添加新的CSV文件时,它根本不会将其插入配置单元中

代码是:

import org.apache.spark.sql.SparkSession
导入org.apache.spark.sql.functions_
导入org.apache.spark.sql.streaming.OutputMode
val spark=SparkSession.builder()thrift://hostname:port).enableHiveSupport().config(“hive.exec.dynamic.partition”,“true”).config(“hive.exec.dynamic.partition.mode”,“nonstrict”).getOrCreate()
spark.conf.set(“spark.sql.streaming.schemaReference”,true)
导入spark.implicits.\u
val df=spark.readStream.option(“header”,true).csv(“file:///folder 路径/“”)
val query=df.writeStream.queryName(“选项卡”).format(“内存”).outputMode(outputMode.Append()).start()
sql(“插入hivetab select*from选项卡”).show()
查询
我是不是遗漏了什么

任何建议都会有帮助


谢谢

你有什么解决办法吗?我面临着同样的问题。。。请帮忙