Hive 获取错误kafka.KafkaInputFormat:无法生成完整扫描分割

当从配置单元外部表查询Kafka流时，我们得到的是直线超时。查看配置单元服务器日志，它会给出以下错误消息

2019-05-01T14:27:09725警告[pool-226-thread-1]卡夫卡。回复：
在1353毫秒内重试（第1次，共5次）。java.lang.NoSuchMethodError： org.apache.kafka.clients.consumer.KafkaConsumer.partitionsFor（Ljava/lang/String；）Ljava/util/List

接

错误[08693181-1964-4d87-bf5a-7d628b4f9e43 HiveServer2 HttpHandler池：线程-89]kafka.KafkaInputFormat:can 不生成完全扫描分割

尝试发送更简单的JSON结构

尝试使用和不使用table属性

“kafka.serde.class”=“org.apache.hadoop.hive.serde2.JsonSerDe”

---

我希望查询输出流中的数据

您是否手动设置了Hive Kafka？对于第一个错误，它要求您将kafka客户端JAR分发到运行配置单元代码的所有计算机。一旦您修复了类路径，那么InputFormat应该能够更好地工作Hanks，它是Azure上HDInsights的一部分。将存储处理程序Jar分发到相关节点一个确认点，我下载了kafka-Handler-3.1.0.3.1.0.6-1.Jar，是否正确？根据错误，您需要kafka-clients.Jar。最好是与kafka broker版本匹配的版本。我不确定处理程序本身是否包含这些内容。可供下载的kafka处理程序JAR需要kafka客户端v2，而Azure安装的是kafka v1.11。我猜这是一个节目停止？你手动设置了蜂巢卡夫卡吗？对于第一个错误，它要求您将kafka客户端JAR分发到运行配置单元代码的所有计算机。一旦您修复了类路径，那么InputFormat应该能够更好地工作Hanks，它是Azure上HDInsights的一部分。将存储处理程序Jar分发到相关节点一个确认点，我下载了kafka-Handler-3.1.0.3.1.0.6-1.Jar，是否正确？根据错误，您需要kafka-clients.Jar。最好是与kafka broker版本匹配的版本。我不确定处理程序本身是否包含这些内容。可供下载的kafka处理程序JAR需要kafka客户端v2，而Azure安装的是kafka v1.11。我猜这是一场表演？

CREATE EXTERNAL TABLE rs_table2
(id int,
first_name string,
last_name string)
STORED BY 'org.apache.hadoop.hive.kafka.KafkaStorageHandler'
TBLPROPERTIES
("kafka.topic" = "xxxxx", 
"kafka.bootstrap.servers"="xxxxxx:9092",
"kafka.consumer.group.id"="1", 
"session.timeout.ms"="30000",
"kafka.serde.class"="org.apache.hadoop.hive.serde2.JsonSerDe",
"kafka.consumer.partition.assignment.strategy"="range"
);