File 写入Avro数据文件
下面的代码只是将数据写入avro格式,并从写入的avro文件中读取和显示相同的数据。我只是在Hadoop权威指南中尝试这个例子。这是我第一次执行。然后我得到了以下错误。它第一次起作用了。所以我不确定我犯了什么错误 这是一个例外:File 写入Avro数据文件,file,avro,eofexception,File,Avro,Eofexception,下面的代码只是将数据写入avro格式,并从写入的avro文件中读取和显示相同的数据。我只是在Hadoop权威指南中尝试这个例子。这是我第一次执行。然后我得到了以下错误。它第一次起作用了。所以我不确定我犯了什么错误 这是一个例外: Exception in thread "main" java.io.EOFException: No content to map to Object due to end of input at org.codehaus.jackson.map.Object
Exception in thread "main" java.io.EOFException: No content to map to Object due to end of input
at org.codehaus.jackson.map.ObjectMapper._initForReading(ObjectMapper.java:2173)
at org.codehaus.jackson.map.ObjectMapper._readValue(ObjectMapper.java:2106)
at org.codehaus.jackson.map.ObjectMapper.readTree(ObjectMapper.java:1065)
at org.codehaus.jackson.map.ObjectMapper.readTree(ObjectMapper.java:1040)
at org.apache.avro.Schema.parse(Schema.java:895)
at org.avro.example.SimpleAvro.AvroExample.avrocreate(AvroDataExample.java:23)
at org.avro.example.SimpleAvro.AvroDataExample.main(AvroDataExample.java:55)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
代码如下:
package org.avro.example.SimpleAvro;
import java.io.File;
import java.io.IOException;
import org.apache.avro.Schema;
import org.apache.avro.file.DataFileReader;
import org.apache.avro.file.DataFileWriter;
import org.apache.avro.generic.GenericData;
import org.apache.avro. generic.GenericDatumReader;
import org.apache.avro.generic.GenericDatumWriter;
import org.apache.avro.generic.GenericRecord;
import org.apache.avro.io.DatumReader;
import org.apache.avro.io.DatumWriter;
class AvroExample{
AvroExample(){
}
void avrocreate() throws Exception{
Schema schema=Schema.parse(getClass().getResourceAsStream("Pair.avsc"));
GenericRecord datum=new GenericData.Record(schema);
datum.put("left", "L");
datum.put("right", "R");
File file=new File("data.avro");
DatumWriter<GenericRecord> writer=new GenericDatumWriter<GenericRecord>(schema);
DataFileWriter<GenericRecord> dataFileWriter=new DataFileWriter<GenericRecord>(writer);
dataFileWriter.create(schema, file);
dataFileWriter.append(datum);
dataFileWriter.close();
System.out.println("Written to avro data file");
//reading from the avro data file
DatumReader<GenericRecord> reader= new GenericDatumReader<GenericRecord>();
DataFileReader<GenericRecord> dataFileReader=new DataFileReader<GenericRecord>(file,reader);
GenericRecord result=dataFileReader.next();
System.out.println("data" + result.get("left").toString());
result=dataFileReader.next();
System.out.println("data :" + result.get("left").toString());
}
}
public class AvroDataExample {
public static void main(String args[])throws Exception{
AvroExample a=new AvroExample();
a.avrocreate();
}
}
您可能没有正确读取架构文件。我怀疑这就是问题所在,因为堆栈跟踪显示它无法解析架构:
Exception in thread "main" java.io.EOFException: No content to map to Object due to end of input
at org.codehaus.jackson.map.ObjectMapper._initForReading(ObjectMapper.java:2173)
at org.codehaus.jackson.map.ObjectMapper._readValue(ObjectMapper.java:2106)
at org.codehaus.jackson.map.ObjectMapper.readTree(ObjectMapper.java:1065)
at org.codehaus.jackson.map.ObjectMapper.readTree(ObjectMapper.java:1040)
at org.apache.avro.Schema.parse(Schema.java:895)
从“资源”中读取文件充满了问题,除非您的环境设置正确。另外,由于您提到它以前工作过一次,所以您可能只是在第二次运行时更改了一些环境设置(例如工作目录)
尝试将架构字符串复制粘贴到字符串变量中,然后直接复制,而不是使用资源加载程序:
String schemaJson = "paste schema here (and fix quotes)";
Schema schema = Schema.parse(schemaJson);
GenericRecord datum = new GenericData.Record(schema);
...
我想这就是你错的地方
您应该调用记录的“left”属性和“right”属性
试试看
这对我很有用。如果文件位于jar的根目录,请在文件名前加一个斜杠
Schema.parse(getClass().getResourceAsStream("/Pair.avsc"));
当我尝试将模式作为字符串嵌入时,我成功地运行了该程序。我遇到了同样的问题,通过将模式放入代码中解决了这个问题。但我不知道环境设置有什么问题,因为它找不到avsc文件。你能帮我吗?
GenericRecord result=dataFileReader.next();
System.out.println("data" + result.get("left").toString());
result=dataFileReader.next();
System.out.println("data :" + result.get("left").toString());
Schema.parse(getClass().getResourceAsStream("/Pair.avsc"));