如何从开源Hadoop或ambari安装的公开HDP源代码构建deb/rpm repo

如何从开源Hadoop或ambari安装的公开HDP源代码构建deb/rpm repo,hadoop,installation,rpm,ambari,Hadoop,Installation,Rpm,Ambari,我正在尝试安装开源hadoop或从源代码构建HDP,由ambari安装。我可以看到,使用ApacheRepos中提供的文档为每个组件构建java包是可能的,但是我如何使用这些构建由hortonworks提供的rpm/deb包,以便ambari安装HDP分发版 @ShivamKhandelwal从源头上建造Ambari是一个挑战,但需要一定的毅力才能完成。在本文中,我披露了我最近在centos中构建Ambari 2.7.5时使用的命令: “从源代码构建HDP”是一项非常艰巨的任务,因为它需要单独

我正在尝试安装开源hadoop或从源代码构建HDP,由ambari安装。我可以看到,使用ApacheRepos中提供的文档为每个组件构建java包是可能的,但是我如何使用这些构建由hortonworks提供的rpm/deb包,以便ambari安装HDP分发版

@ShivamKhandelwal从源头上建造Ambari是一个挑战,但需要一定的毅力才能完成。在本文中,我披露了我最近在centos中构建Ambari 2.7.5时使用的命令:

“从源代码构建HDP”是一项非常艰巨的任务,因为它需要单独构建每个组件,创建您自己的公共/私有repo,其中包含每个操作系统风格的所有组件repo或RPM。这是一项巨大的任务,以前由Hortonworks的许多员工和组件贡献者管理

当您从HDP安装Ambari时,它与他们的REPO(包括他们的HDP堆栈)(HDFS、Thread、MR、Hive等)一起开箱即用。从源代码安装Ambari时,没有堆栈。唯一的解决办法是构建自己的堆栈,这是我所擅长的

我目前正在构建一个DDP堆栈作为示例与公众共享。我通过反向工程HDF管理包开始了这个项目,该管理包包括堆栈结构(文件/文件夹),以角色化NiFi、Kafka、Zookeeper等。我已经用自己的服务和组件(NiFi、色调、Elasticsearch等)将其定制为自己的堆栈


我使用DDP的目标是最终为我想要的组件和服务制作我自己的repo,以及我想要在集群中安装的版本。接下来,我将使用最后一个可用的公共HDP堆栈(HDP3.1.5),将HDP堆栈中的一些HDP组件(如HDFS、纱线、蜂窝)直接复制到DDP堆栈中

谢谢你的回答,我的问题与你回答的后面部分有关。我自己能够编译和部署ambari,并且希望有一些解决方案来编译hadoop二进制文件。我完全赞同您提到的生成rpm包的步骤。我想我必须自己去做,因为这是一件还没有人尝试过的事情。是的,我自己也在这条道路上走得很深。我现在有一个非常稳定的堆栈,它最初基于HDF,现在将HDP片段放入其中。我还有一些第三方工具(色调和elasticsearch)。我已经让HDFS工作了,但是仍然在使用hadoop(纱线、mapreduce)、hive和其他一些…你能接受这个解决方案吗?检查:和:嗨@steven matison,非常感谢你的作品!自2020年2月起,Cloudera关闭了对所有版本CDP和HDP的所有访问,您是否有其他HDP版本存储库?没有,只是上面链接的mosga内容。。。