File Hadoop报告错误的文件大小
Hadoop似乎报告了仍在进行的文件的错误文件大小(即存在打开的文件句柄):File Hadoop报告错误的文件大小,file,hadoop,hdfs,File,Hadoop,Hdfs,Hadoop似乎报告了仍在进行的文件的错误文件大小(即存在打开的文件句柄): 这里发生了什么?。spark中的inprogress文件是在处理过程中创建的,因此有时文件大小可能会有所不同,这也存在一些问题。JIRA中列出的inprogress文件将在下一版本中修复。spark中的inprogress文件是在处理过程中创建的,因此有时文件大小可能会有所不同,JIRA中列出的这个.inprogress文件也有一些问题,将在下一版本中修复 $ hadoop fs -ls /spark_event_lo
这里发生了什么?。spark中的inprogress文件是在处理过程中创建的,因此有时文件大小可能会有所不同,这也存在一些问题。JIRA中列出的inprogress文件将在下一版本中修复。spark中的inprogress文件是在处理过程中创建的,因此有时文件大小可能会有所不同,JIRA中列出的这个.inprogress文件也有一些问题,将在下一版本中修复
$ hadoop fs -ls /spark_event_log/application_1455759060111_0228.inprogress
16/02/29 20:56:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-rwxrwx--- 2 user supergroup 235 2016-02-29 20:24 /spark_event_log/application_1455759060111_0228.inprogress
$ hadoop fs -cp /spark_event_log/application_1455759060111_0228.inprogress /spark_event_log/test.inprogress
16/02/29 20:57:47 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
$ hadoop fs -ls /spark_event_log/test.inprogress
16/02/29 20:58:38 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
-rw-r--r-- 2 user supergroup 6809 2016-02-29 20:39 /spark_event_log/test.inprogress