Netbeans 在Hadoop集群上运行mapreduce jar

我正在尝试在Hadoop上运行二次筛算法的MapReduce实现。为此，我将karmasphere Hadoop社区插件与Netbeans结合使用。使用该插件，程序运行良好。但我无法在实际集群上运行它。 我正在运行这个命令

             bin/hadoop jar MRIF.jar 689 

其中MRIF.jar是通过构建netbeans项目生成的jar文件，689是要分解的数字。输入和输出目录是在程序本身中硬编码的。在实际集群上运行时，内部java类似乎没有被处理，因为在映射本身为0%之前，reduce完成到100%。并且创建的输入和输出文件没有任何内容

---

但是，当使用Karmasphere插件运行时，这种方法可以很好地工作。

尝试将其作为

bin/hadoop-jar MRIF.jar 689运行。
-jar
强制它在本地运行，并向控制台显示信息以及该机器的日志。您还可以检查Hadoop的日志，看看它们是否有任何关于为什么不能正确运行的指标

当使用
-jar
时，您可以使用
System.out.println（…）
在控制台上显示信息，进一步帮助调试

当运行（psuedo-）分布式时，您还可以使用（链接是我找到的随机博客帖子）来帮助进行故障排除

我承认这篇文章并不能解决这个问题；如果没有关于正在发生的事情和地点的更多/进一步的信息，可能会发生很多事情。如您所述，如果它没有处理“内部java类”，那么它很可能是您的实现，我们看不到它能提供建议，等等

有关此问题的更多数据（如日志、错误或输出）可能有助于获得更多的solution-y响应，而不是调试提示。：）

编辑：谢谢你的文件链接。我想你的电话缺少一个部件

我查看了
run.sh
，认为这可能会让它对您起作用：

bin/hadoop jar mrif.jar com.javiertordable.mrif.MapReduceQuadraticSieve 689

尝试将其作为
bin/hadoop-jar MRIF.jar689
运行。
-jar
强制它在本地运行，并向控制台显示信息以及该机器的日志。您还可以检查Hadoop的日志，看看它们是否有任何关于为什么不能正确运行的指标

当使用
-jar
时，您可以使用
System.out.println（…）
在控制台上显示信息，进一步帮助调试

当运行（psuedo-）分布式时，您还可以使用（链接是我找到的随机博客帖子）来帮助进行故障排除

我承认这篇文章并不能解决这个问题；如果没有关于正在发生的事情和地点的更多/进一步的信息，可能会发生很多事情。如您所述，如果它没有处理“内部java类”，那么它很可能是您的实现，我们看不到它能提供建议，等等

有关此问题的更多数据（如日志、错误或输出）可能有助于获得更多的solution-y响应，而不是调试提示。：）

编辑：谢谢你的文件链接。我想你的电话缺少一个部件

我查看了
run.sh
，认为这可能会让它对您起作用：

bin/hadoop jar mrif.jar com.javiertordable.mrif.MapReduceQuadraticSieve 689

打开文件进行写入时似乎出现了一些问题。在这种情况下可以做什么？@Anurag:什么问题？需要更多关于问题的信息，以便人们能够提供帮助。有很多可能性，您提供的详细信息越多，就越有可能有人愿意并能够提供帮助。请参阅包含所需jar的zip文件。我试图只使用常规方法（而不是自述文件中给出的方法）来运行它。打开文件进行写入时似乎出现了一些问题。在这种情况下可以做什么？@Anurag:什么问题？需要更多关于问题的信息，以便人们能够提供帮助。有很多可能性，您提供的详细信息越多，就越有可能有人愿意并能够提供帮助。请参阅包含所需jar的zip文件。我试图只使用常规方法（而不是自述文件中给出的方法）来运行它。