Hadoop 从配置单元导入数据时出现Solr DIH错误

Hadoop 从配置单元导入数据时出现Solr DIH错误,hadoop,solr,hive,dih,Hadoop,Solr,Hive,Dih,我试图在Solr5.1中加载和索引hdfs数据。我将数据存储在配置单元表中,并使用DIH导入和索引。我遵循了链接中提供的步骤。我看不到关于hive的DIH的任何资料,所以我想看看是否有人对此进行过研究。同时也在寻找关于上述场景的一些建议。我能够让它正常工作。 它的工作原理很有趣 我们首先得到了hive2 JAR,并让它通过java来检查连接性。 然后我们意识到要使用的罐子是: hadoop-common-2.7.0-mapr-1703.jar hive-common-2.1.1-mapr-170

我试图在Solr5.1中加载和索引hdfs数据。我将数据存储在配置单元表中,并使用DIH导入和索引。我遵循了链接中提供的步骤。我看不到关于hive的DIH的任何资料,所以我想看看是否有人对此进行过研究。同时也在寻找关于上述场景的一些建议。

我能够让它正常工作。 它的工作原理很有趣

我们首先得到了hive2 JAR,并让它通过java来检查连接性。 然后我们意识到要使用的罐子是:

  • hadoop-common-2.7.0-mapr-1703.jar
  • hive-common-2.1.1-mapr-1703-r1.jar
  • hive-jdbc-2.1.1-mapr-1703-r1-standalone.jar
  • 如果您使用的是SOLR Cloud,那么这些JAR将被传输到安装SOLR的VM,然后在solrconfig.xml中引用,如下所示:

    在solrconfig.xml中导入部件 这是最重要的部分:您的配置单元连接字符串:

    连接件

    通过zookeeper推送配置 server/scripts/cloud scripts/zkcli.sh-zkhost host1:2181,host2:2181-cmd-upconfig-confname-confname-confdir-server/solr/configsets/folder/

    去 然后检查调试,首先检查10或20条记录

    您将看到数据流动。干杯 如果您想进一步讨论,我可以提供帮助,但我认为这应该可以。它对我有用


    特别感谢Srini Samudrala在这方面与我合作。

    我正在寻找类似的解决方案,你有什么进展吗?没有。我将数据存储在HDFS中并继续