Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
将卡夫卡中的avro数据移动到hive,然后移动到hbase_Hive_Apache Kafka_Avro - Fatal编程技术网

将卡夫卡中的avro数据移动到hive,然后移动到hbase

将卡夫卡中的avro数据移动到hive,然后移动到hbase,hive,apache-kafka,avro,Hive,Apache Kafka,Avro,我确实把我的数据放到了mysql中,但现在我正试图把它们放到hive中。 我无法找到合适的资源开始,所以我现在被卡住了。我试图使用的数据是Avro 我在用爪哇语。任何关于从何处开始的帮助都非常有用您可以直接从mysql到HBase使用sqoop。为什么你需要卡夫卡或蜂巢?嗨@cricket_007我想反序列化卡夫卡中的avro消息并将它们保存到蜂巢。原因是我只是想试验一下,看看它是如何工作的。我看不到任何直接的方法可以做到这一点。我不确定是否真的有反序列化avro并将其保存到配置单元中的方法。这

我确实把我的数据放到了mysql中,但现在我正试图把它们放到hive中。 我无法找到合适的资源开始,所以我现在被卡住了。我试图使用的数据是Avro


我在用爪哇语。任何关于从何处开始的帮助都非常有用

您可以直接从mysql到HBase使用sqoop。为什么你需要卡夫卡或蜂巢?嗨@cricket_007我想反序列化卡夫卡中的avro消息并将它们保存到蜂巢。原因是我只是想试验一下,看看它是如何工作的。我看不到任何直接的方法可以做到这一点。我不确定是否真的有反序列化avro并将其保存到配置单元中的方法。这正是Confluent的hdfs kafka connector所能做的,假设您使用的是模式注册表,如前所述,Confluent的hdfs的kafka Connect可以创建配置单元表,这也可以在汇合枢纽找到