hadoop-确定是否正在写入文件
有没有办法确定hadoop中的文件是否正在写入？我有一个将日志放入hdfs的过程。我有另一个进程监视hdfs中是否存在新日志，但我希望它确保在处理之前文件已完全上传到hdfs中。这样做可能吗？Hadoop文件系统API似乎没有提供文件当前是否正在写入的任何信息。但是，作为一种解决方法，您可以检查相关文件的修改时间—如果在某段时间内（例如，20分钟）没有发生写入操作，则可以安全地假定副本已完成或已死亡hadoop-确定是否正在写入文件,hadoop,Hadoop,有没有办法确定hadoop中的文件是否正在写入？我有一个将日志放入hdfs的过程。我有另一个进程监视hdfs中是否存在新日志，但我希望它确保在处理之前文件已完全上传到hdfs中。这样做可能吗？Hadoop文件系统API似乎没有提供文件当前是否正在写入的任何信息。但是，作为一种解决方法，您可以检查相关文件的修改时间—如果在某段时间内（例如，20分钟）没有发生写入操作，则可以安全地假定副本已完成或已死亡