执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。无法验证serde:org.apache.hadoop.hive.serde2.avro.AvroSerde
我正在使用avro serde创建一个配置单元表来存储twitter数据 这是密码-执行错误,从org.apache.hadoop.hive.ql.exec.ddlstask返回代码1。无法验证serde:org.apache.hadoop.hive.serde2.avro.AvroSerde,hive,avro,flume-twitter,hive-serde,avro-tools,Hive,Avro,Flume Twitter,Hive Serde,Avro Tools,我正在使用avro serde创建一个配置单元表来存储twitter数据 这是密码- create table tweets row format serde 'org.apache.hadoop.hive.serde2.avro.AvroSerde' stored as inputformat 'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat' outputformat 'or
create table tweets
row format serde
'org.apache.hadoop.hive.serde2.avro.AvroSerde'
stored as inputformat
'org.apache.hadoop.hive.ql.io.avro.AvroContainerInputFormat'
outputformat
'org.apache.hadoop.hive.ql.io.avro.AvroContainerOutputFormat'
tblproperties('avro.schema.url'='hdfs://user/itelligence/ee/TwitterDataAvroSchema.avsc');
我犯了一个错误-
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.
Cannot validate serde: org.apache.hadoop.hive.serde2.avro.AvroSerde
我已经尝试将avsc文件的输入作为
tblproperties('avro.schema.url'='hdfs:///user/itelligence/ee/TwitterDataAvroSchema.avsc');
tblproperties('avro.schema.url'='file://user/itelligence/schema/TwitterDataAvroSchema.avsc');
在本地和hdfs文件系统中,我都遇到了相同的错误。错误消息指出Hive找不到SerDe Java类。它甚至懒得阅读模式 请注意,“SerDe”有一个大写字母D,因为它代表序列化程序反序列化程序。
所以只要在
AvroSerDe
中修正你的打字错误,然后再试一次。我试过大写字母D。但问题是配置单元SerDe类文件已损坏。