Hive 配置单元中的行格式Serde

Hive 配置单元中的行格式Serde,hive,hadoop-streaming,Hive,Hadoop Streaming,我正在使用hadoop 2.0.4,从事twitter情绪分析。我曾使用flume接收数据,但现在twitter数据必须存储在hive表中 我创建了一个表,但行格式SERDE给出了错误 “无法验证” 请告诉我如何继续。您使用的是自定义服务器吗 请参阅hive中提供的以下信息 您可以使用自定义SerDe或使用本机SerDe创建表。A. 如果未指定行格式或行格式,则使用本机SerDe 指定了分隔符 希望这些信息有用。您可以尝试添加此jar hive-serdes-1.0-SNAPSHOT.jar

我正在使用hadoop 2.0.4,从事twitter情绪分析。我曾使用flume接收数据,但现在twitter数据必须存储在hive表中

我创建了一个表,但行格式SERDE给出了错误

“无法验证”


请告诉我如何继续。

您使用的是自定义服务器吗

请参阅hive中提供的以下信息

您可以使用自定义SerDe或使用本机SerDe创建表。A. 如果未指定行格式或行格式,则使用本机SerDe 指定了分隔符


希望这些信息有用。

您可以尝试添加此jar

hive-serdes-1.0-SNAPSHOT.jar
添加jar之后,您可以创建一个外部配置单元表,其中包含tweet_id和tweet_文本,该文本引用tweets目录,用于执行类似这样的情绪分析

create external table load_tweets(id BIGINT,text STRING) ROW FORMAT SERDE 'com.cloudera.hive.serde.JSONSerDe' LOCATION '/user/flume/tweets'
您可以参考以下链接,使用配置单元执行情绪分析


检查是否已将hive-serdes-1.0-SNAPSHOT.jar添加到lib文件夹下的配置单元目录中。您的配置单元目录路径将是您在.bashrc文件中提到的路径。

您可以粘贴配置单元表创建语句吗?先生,但是twitter格式是JSON类型。关于这一点,如何处理twitter JSON格式。如何存储它?请参阅讨论的链接。希望这些信息有用。