Apache spark 如何查找spark文件流中处理的文件
我有一个结构化的流媒体应用程序，它正在监测blob存储中的一个文件夹中的新文件，并对其进行处理。它运行良好，我可以监控和集群运行状况，查看传入记录、输出记录等。 但我真的很想看看是否有任何日志显示得到处理的文件名，或者这个文件中x个记录得到处理Apache spark 如何查找spark文件流中处理的文件,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我有一个结构化的流媒体应用程序，它正在监测blob存储中的一个文件夹中的新文件，并对其进行处理。它运行良好，我可以监控和集群运行状况，查看传入记录、输出记录等。 但我真的很想看看是否有任何日志显示得到处理的文件名，或者这个文件中x个记录得到处理 任何指针都会有帮助。已处理的文件名保存在流的配置检查点中，例如。选项（“检查点位置”）dbfs://checkpointPath） 要监视流实际处理了多少输入行，请查看
任何指针都会有帮助。已处理的文件名保存在流的配置检查点中，例如
。选项（“检查点位置”）dbfs://checkpointPath）