Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/apache/9.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java KiteSDK MapReduce:拼花地板文件加载期间出现EOF异常_Java_Apache_Hadoop_Parquet - Fatal编程技术网

Java KiteSDK MapReduce:拼花地板文件加载期间出现EOF异常

Java KiteSDK MapReduce:拼花地板文件加载期间出现EOF异常,java,apache,hadoop,parquet,Java,Apache,Hadoop,Parquet,我有一个hadoop map reduce作业,它使用KitSDK DatasetKeyInputFormat。它被配置为读取拼花地板文件 每次运行作业时,都会出现以下异常: 错误:java.io.EOFException 位于java.io.DataInputStream.readFullyDataInputStream.java:197 在java.io.DataInputStream.readFullyDataInputStream.java:169 位于parquet.hadoop.Pa

我有一个hadoop map reduce作业,它使用KitSDK DatasetKeyInputFormat。它被配置为读取拼花地板文件

每次运行作业时,都会出现以下异常:

错误:java.io.EOFException 位于java.io.DataInputStream.readFullyDataInputStream.java:197 在java.io.DataInputStream.readFullyDataInputStream.java:169 位于parquet.hadoop.ParquetInputSplit.readArrayParquetInputSplit.java:304 位于parquet.hadoop.ParquetInputSplit.readFieldsParquetInputSplit.java:263 位于org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserializeWritableSerialization.java:71 位于org.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserializeWritableSerialization.java:42 位于org.apache.hadoop.mapred.MapTask.getSplitDetailsMapTask.java:372 位于org.apache.hadoop.mapred.MapTask.runNewMapperMapTask.java:754 位于org.apache.hadoop.mapred.MapTask.runMapTask.java:341 位于org.apache.hadoop.mapred.YarnChild$2.runYarnChild.java:163 位于java.security.AccessController.doPrivilegeEdNative方法 位于javax.security.auth.Subject.doassObject.java:415 位于org.apache.hadoop.security.UserGroupInformation.doasurgroupinformation.java:1671 位于org.apache.hadoop.mapred.YarnChild.mainYarnChild.java:158

配置单元创建的map reduce作业可以成功读取相同的文件。即我可以成功地查询它

为了隔离可能出现的问题,我已基于创建了map reduce作业。但我还是得到了同样的例外

注意:AVRO和CSV格式工作良好