ApacheIgnite:IgniteHadoopigfsSecondary文件系统的依赖项是什么?

ApacheIgnite:IgniteHadoopigfsSecondary文件系统的依赖项是什么?,hadoop,ignite,Hadoop,Ignite,我正在尝试使用Hadoop设置IGFS作为辅助存储。我已经设置了如图所示的配置,但我一直得到NoClassDefFoundErrors。我已经下载了Ignite的两个二进制发行版,并尝试从源代码构建,但不包括依赖项hadoop-common-2.6.0.jar和ignite-hadoop-1.4.0.jar提供了一些依赖项,但现在我得到了org/apache/hadoop/mapred/JobConf的NoClassDefFoundError,据我所知,这是一个不推荐的类 我一直在遵循Apach

我正在尝试使用Hadoop设置IGFS作为辅助存储。我已经设置了如图所示的配置,但我一直得到
NoClassDefFoundError
s。我已经下载了Ignite的两个二进制发行版,并尝试从源代码构建,但不包括依赖项
hadoop-common-2.6.0.jar
ignite-hadoop-1.4.0.jar
提供了一些依赖项,但现在我得到了
org/apache/hadoop/mapred/JobConf
NoClassDefFoundError
,据我所知,这是一个不推荐的类

我一直在遵循ApacheIgnite网站上的说明,但这是我所能做到的


我需要哪些依赖项才能将HadoopigfsSecondary文件系统作为辅助存储

问题似乎在于Ignite节点的类路径上没有Hadoop库。要解决此问题,请尝试执行以下操作:

1) 使用Ignite发行版的“Hadoop Accelerator”版本(如果您自己构建发行版,请使用-Dignite.edition=Hadoop)

2) 如果您使用的是Apache HADOOP发行版,或者如果您使用的是其他发行版(HDP、Cloudera、BigTop等),请为Ignite进程设置HADOOP_HOME环境变量,确保/etc/default/HADOOP文件存在并具有适当的内容

或者,您可以手动添加必要的Hadoop依赖项以点燃节点类路径:这些是文件modules/Hadoop/pom.xml中列出的groupId“org.apache.Hadoop”的依赖项。目前它们是:

  • hadoop注释
  • hadoop验证
  • hadoop通用
  • hadoop hdfs
  • hadoop mapreduce客户端公用程序
  • hadoop mapreduce客户端核心

  • 如果您不想自己处理依赖关系管理—这是一件很难手动完成的事情—我建议您查看为软件堆栈提供编排和部署服务的项目。检查ApacheBigtop(Bigtop.Apache.org),它为ApacheIgnite、Hadoop、HDFS和这个领域中的几乎所有其他东西提供预裁剪的linux包。您可以从我们的CI获取最新的夜间软件包,网址为

    My Ignite版本为1.4.0,而我的Hadoop版本为2.6