Hadoop 在AWS EMR上安装Druid

Hadoop 在AWS EMR上安装Druid,hadoop,amazon-emr,druid,Hadoop,Amazon Emr,Druid,刚开始探索德鲁伊,我们在链接上找不到任何在AWS上安装德鲁伊的博客,有没有机会在AWS EMR上安装德鲁伊?如果是这样的话,如果有任何特定的云阵型可以执行,这将对我在德鲁伊上的研发完全有帮助。设置一个基本的单集群德鲁伊非常困难 使用单节点主机启动EMR,如r3.4XL 下载暗示tar(与德鲁伊和枢轴一起提供) 如果您正在寻找一个完整的集群部署,EMR不是合适的工具。 如果你知道EKS/kubernetes,我认为最简单的开始方法是使用Helm 另一个选择是寻找云 他们还提供了关于德鲁伊的可

刚开始探索德鲁伊,我们在链接上找不到任何在AWS上安装德鲁伊的博客,有没有机会在AWS EMR上安装德鲁伊?如果是这样的话,如果有任何特定的云阵型可以执行,这将对我在德鲁伊上的研发完全有帮助。

设置一个基本的单集群德鲁伊非常困难

  • 使用单节点主机启动EMR,如r3.4XL
  • 下载暗示tar(与德鲁伊和枢轴一起提供)
如果您正在寻找一个完整的集群部署,EMR不是合适的工具。 如果你知道EKS/kubernetes,我认为最简单的开始方法是使用Helm

另一个选择是寻找云 他们还提供了关于德鲁伊的可靠文档。德鲁伊自己的文档非常密集。我发现暗示对初学者来说更好。


尽管对于POC来说,单个r3.4XL或i3.4XL(具有大约200G的存储空间)已经足够好了

但您找不到太多文档的最可能原因是这两种东西具有不同的性质

德鲁伊意味着长寿和状态完整,而EMR hadoop变体意味着以更短暂的方式上下旋转。因此,这种组合有点尴尬

考虑使用不同的hadoop发行版,如HDP。当然,如果需要,您可以轻松地将其部署在AWS上,如果您希望最小化infra成本,也可以部署在您自己的硬件上

免责声明:我是Cloudera的员工,Cloudera是HDP的分销商,HDP是目前Druid下最常见的hadoop平台

tar -xzf imply-3.1.8.1.tar.gz cd imply-3.1.8.1
bin/supervise -c conf/supervise/quickstart.conf