Apache spark 有没有办法将源文件修改后的时间戳添加为附加列?

Apache spark 有没有办法将源文件修改后的时间戳添加为附加列?,apache-spark,spark-structured-streaming,Apache Spark,Spark Structured Streaming,我想找出每个给定键的最新值,并且我在原始数据集中没有任何时间戳可供参考,因此我想点击HDFS上的文件修改时间戳,只想选择那些文件中最后出现的行 使用Spark结构化流媒体有什么方法可以做到这一点吗?选中此项-获取文件元数据选中此项-获取文件元数据

我想找出每个给定键的最新值,并且我在原始数据集中没有任何时间戳可供参考,因此我想点击HDFS上的文件修改时间戳,只想选择那些文件中最后出现的行


使用Spark结构化流媒体有什么方法可以做到这一点吗?

选中此项-获取文件元数据选中此项-获取文件元数据