Hadoop与web应用程序的集成

我想通过给定的用户界面使用Hadoop中用户选择的文件。应该采用什么方法，在web中使用Hadoop是一个明智的决定？有两个问题-是否应该使用Hadoop，以及如何使用Hadoop

用户通过web界面上传的典型文件比hadoop开始相关的数据大小小得多

因此，hadoop很可能不是这个场景的正确选择

如果没有更详细的日志，很难知道问题出在哪里。 但最常见的情况是，如果找不到的类是您的类（而不是基础设施类），则需要将JAR分发到所有hadoop任务

一个简单的解决方案是在运行应用程序时使用-libjars参数

---

请看一个很好的解释

这个问题很笼统，也不是很清楚。请描述你试图实现的目标。你的意思是让用户从web界面上传一个文件，并使用hadoop处理该文件吗？是的，当然，我使用Struts框架上传文件并在hadoop中使用它。这样做对吗？每当我试图运行Hadoop作业时，Mapper和Reducer类的ClassNotFoundException就会出现。@Piyusharma嗨，Piyush，你能分享一下你是如何将struts应用程序与Hadoop接口的吗？您使用哪些API/工具访问web应用程序中的hadoop/hdfs数据，反之亦然？web服务器是在hadoop集群内还是在集群外通过http等进行通信？首先，我同意你的观点，但我的要求是hadoop应该能够使用其中的所有JBoss日志文件。首先尝试上载一个文件，然后我们将自动使用所有Jboss日志文件。我在代码中添加了“conf.set”（“mapred.jar”），“/path/hadoop.jar”）；”。它现在运转良好