Hadoop 如何使用Cloudera Quickstart Docker容器执行MapReduce作业/JAR

Hadoop 如何使用Cloudera Quickstart Docker容器执行MapReduce作业/JAR,hadoop,cloudera-cdh,cloudera-manager,cloudera-quickstart-vm,Hadoop,Cloudera Cdh,Cloudera Manager,Cloudera Quickstart Vm,我需要一些关于如何使用Cloudera Docker容器运行MapReduce程序/作业的帮助。 我使用的是Linux(ElementaryOS)高配置。笔记本电脑(24GB RAM,i7处理器)。 我能够安装Cloudera docker映像,并运行它,还完成了以下操作,没有任何问题: 1.看到#提示并运行HDFS命令(hadoop fs-ls),尽管它没有返回任何内容 2.能够访问色调编辑器 3.能够运行Cloudera manager并启动所有服务(一切)。 4.在本地环境中,我能够创建W

我需要一些关于如何使用Cloudera Docker容器运行MapReduce程序/作业的帮助。
我使用的是Linux(ElementaryOS)高配置。笔记本电脑(24GB RAM,i7处理器)。
我能够安装Cloudera docker映像,并运行它,还完成了以下操作,没有任何问题:
1.看到#提示并运行HDFS命令(hadoop fs-ls),尽管它没有返回任何内容
2.能够访问色调编辑器
3.能够运行Cloudera manager并启动所有服务(一切)。
4.在本地环境中,我能够创建WordCount MapReduce程序(jar),下载该程序的所有Maven依赖项(不在docker容器中)。
现在我的问题是:
如何将此WordCount JAR提交到正在运行的Docker容器?

如何使用上载的文本文件(HDFS)运行此MapReduce程序/作业(字数)?

如果您使用8888端口的端口映射启动容器,您将能够访问包含文件浏览器的色调。因此,您将能够轻松地将HDFS文件放入集群中

要启动map/reduce作业,您需要将jar复制到容器中,因为Cloudera在其容器中没有提供任何卷(至少,这里没有记录:),这可能是一个挑战。也许你可以尝试通过scp添加它


我自己创建了一些cloudera容器,我按节点类型(masternode、datanode、edgenode)提供了一个容器,我只是在edgenode中添加了一个卷,因为iy似乎是一个很好的选择。您可以在docker hub中找到我的容器:

谢谢。我认为scp是将JAR复制到此容器并运行作业的选项。