Apache spark 如何向spark结构化流数据帧添加新文件

Apache spark 如何向spark结构化流数据帧添加新文件,apache-spark,apache-spark-sql,spark-structured-streaming,Apache Spark,Apache Spark Sql,Spark Structured Streaming,我正在linux服务器的文件夹中获取日常文件,我应该如何将这些文件添加到spark结构化流数据帧中?(增量更新)您看过文档了吗 文件源-读取作为数据流写入目录中的文件。支持的文件格式有文本、csv、json和拼花。请参阅DataStreamReader界面的文档,以了解更为最新的列表以及每种文件格式支持的选项。请注意,文件必须以原子方式放置在给定的目录中,在大多数文件系统中,可以通过文件移动操作来实现

我正在linux服务器的文件夹中获取日常文件,我应该如何将这些文件添加到spark结构化流数据帧中?(增量更新)

您看过文档了吗

文件源-读取作为数据流写入目录中的文件。支持的文件格式有文本、csv、json和拼花。请参阅DataStreamReader界面的文档,以了解更为最新的列表以及每种文件格式支持的选项。请注意,文件必须以原子方式放置在给定的目录中,在大多数文件系统中,可以通过文件移动操作来实现