Eclipse Mapreduce的编程环境-无缝迭代开发
我是MapReduce的新手。我从简单的单词计数示例开始 使用EclipseIDE，我创建了一个简单的JavaMaven项目，添加了MapReduce依赖项，将我的程序编译成一个Jar，将其复制到Cloudera CDH VM，使用虚拟输入数据执行它。一旦我对它成功运行感到满意，我就把这个Jar带到我的AWS-EMR环境中，并在那里用一个更大的生产数据集运行它 所以，Eclipse是我的IDE，Cloudera CDH VM是我的开发环境，AWS EMR是我的生产环境 当我处理像word count这样的小项目时，这种设置很好，但是我的MapReduce项目越大，在环境之间传输Jar文件就越麻烦。这使得迭代开发非常乏味 我想知道我的环境设置是否可以调整/修改/重新构建，使其更适合迭代和大规模MapReduce开发项目Eclipse Mapreduce的编程环境-无缝迭代开发,eclipse,mapreduce,amazon-emr,cloudera-cdh,Eclipse,Mapreduce,Amazon Emr,Cloudera Cdh,我是MapReduce的新手。我从简单的单词计数示例开始 使用EclipseIDE，我创建了一个简单的JavaMaven项目，添加了MapReduce依赖项，将我的程序编译成一个Jar，将其复制到Cloudera CDH VM，使用虚拟输入数据执行它。一旦我对它成功运行感到满意，我就把这个Jar带到我的AWS-EMR环境中，并在那里用一个更大的生产数据集运行它 所以，Eclipse是我的IDE，Cloudera CDH VM是我的开发环境，AWS EMR是我的生产环境 当我处理像word cou
感谢您的帮助/提示。Dankeschön.自从我提出这个问题以来，变化不大。除了手动将jar文件复制到hadoop执行环境之外，还没有找到一个好的替代方法。 另见此-