ApacheIgnite:IgniteHadoopigfsSecondary文件系统的依赖项是什么?
我正在尝试使用Hadoop设置IGFS作为辅助存储。我已经设置了如图所示的配置,但我一直得到ApacheIgnite:IgniteHadoopigfsSecondary文件系统的依赖项是什么?,hadoop,ignite,Hadoop,Ignite,我正在尝试使用Hadoop设置IGFS作为辅助存储。我已经设置了如图所示的配置,但我一直得到NoClassDefFoundErrors。我已经下载了Ignite的两个二进制发行版,并尝试从源代码构建,但不包括依赖项hadoop-common-2.6.0.jar和ignite-hadoop-1.4.0.jar提供了一些依赖项,但现在我得到了org/apache/hadoop/mapred/JobConf的NoClassDefFoundError,据我所知,这是一个不推荐的类 我一直在遵循Apach
NoClassDefFoundError
s。我已经下载了Ignite的两个二进制发行版,并尝试从源代码构建,但不包括依赖项hadoop-common-2.6.0.jar
和ignite-hadoop-1.4.0.jar
提供了一些依赖项,但现在我得到了org/apache/hadoop/mapred/JobConf
的NoClassDefFoundError
,据我所知,这是一个不推荐的类
我一直在遵循ApacheIgnite网站上的说明,但这是我所能做到的
我需要哪些依赖项才能将HadoopigfsSecondary文件系统作为辅助存储 问题似乎在于Ignite节点的类路径上没有Hadoop库。要解决此问题,请尝试执行以下操作: 1) 使用Ignite发行版的“Hadoop Accelerator”版本(如果您自己构建发行版,请使用-Dignite.edition=Hadoop) 2) 如果您使用的是Apache HADOOP发行版,或者如果您使用的是其他发行版(HDP、Cloudera、BigTop等),请为Ignite进程设置HADOOP_HOME环境变量,确保/etc/default/HADOOP文件存在并具有适当的内容 或者,您可以手动添加必要的Hadoop依赖项以点燃节点类路径:这些是文件modules/Hadoop/pom.xml中列出的groupId“org.apache.Hadoop”的依赖项。目前它们是:
如果您不想自己处理依赖关系管理—这是一件很难手动完成的事情—我建议您查看为软件堆栈提供编排和部署服务的项目。检查ApacheBigtop(Bigtop.Apache.org),它为ApacheIgnite、Hadoop、HDFS和这个领域中的几乎所有其他东西提供预裁剪的linux包。您可以从我们的CI获取最新的夜间软件包,网址为My Ignite版本为1.4.0,而我的Hadoop版本为2.6