将卡夫卡中的avro数据移动到hive,然后移动到hbase
我确实把我的数据放到了mysql中,但现在我正试图把它们放到hive中。 我无法找到合适的资源开始,所以我现在被卡住了。我试图使用的数据是Avro将卡夫卡中的avro数据移动到hive,然后移动到hbase,hive,apache-kafka,avro,Hive,Apache Kafka,Avro,我确实把我的数据放到了mysql中,但现在我正试图把它们放到hive中。 我无法找到合适的资源开始,所以我现在被卡住了。我试图使用的数据是Avro 我在用爪哇语。任何关于从何处开始的帮助都非常有用您可以直接从mysql到HBase使用sqoop。为什么你需要卡夫卡或蜂巢?嗨@cricket_007我想反序列化卡夫卡中的avro消息并将它们保存到蜂巢。原因是我只是想试验一下,看看它是如何工作的。我看不到任何直接的方法可以做到这一点。我不确定是否真的有反序列化avro并将其保存到配置单元中的方法。这
我在用爪哇语。任何关于从何处开始的帮助都非常有用您可以直接从mysql到HBase使用sqoop。为什么你需要卡夫卡或蜂巢?嗨@cricket_007我想反序列化卡夫卡中的avro消息并将它们保存到蜂巢。原因是我只是想试验一下,看看它是如何工作的。我看不到任何直接的方法可以做到这一点。我不确定是否真的有反序列化avro并将其保存到配置单元中的方法。这正是Confluent的hdfs kafka connector所能做的,假设您使用的是模式注册表,如前所述,Confluent的hdfs的kafka Connect可以创建配置单元表,这也可以在汇合枢纽找到