Asp.net mvc 4 在ASP.NET MVC中收集和显示Hadoop MapReduce resutls?

Asp.net mvc 4 在ASP.NET MVC中收集和显示Hadoop MapReduce resutls?,asp.net-mvc-4,hadoop,Asp.net Mvc 4,Hadoop,初学者问题。我读了这篇关于Hadoop/MapReduce的文章 我了解了hadoop,什么是map,什么是reduce 对我来说,如果我的应用程序位于hadoop集群之上 1) 不再需要数据库了 2) 首先,如何从ASP.NET MVC应用程序将数据导入hadoop?假设它是Stackoverflow(用MVC编码)。在我发布这个问题之后,这个问题以及标题、主体和标记如何进入hadoop 3) 在上面的文章中,它收集了有关Stakoverflow上使用的“名称空间”的数据,以及它们被使用了多

初学者问题。我读了这篇关于Hadoop/MapReduce的文章

我了解了hadoop,什么是map,什么是reduce

对我来说,如果我的应用程序位于hadoop集群之上

1) 不再需要数据库了

2) 首先,如何从ASP.NET MVC应用程序将数据导入hadoop?假设它是Stackoverflow(用MVC编码)。在我发布这个问题之后,这个问题以及标题、主体和标记如何进入hadoop

3) 在上面的文章中,它收集了有关Stakoverflow上使用的“名称空间”的数据,以及它们被使用了多少次

如果此站点stackoverflow希望实时显示mapreducer的结果数据,您如何做到这一点

很抱歉问了新手问题。我只是想在这里一张一张清晰的图片

1)这将取决于应用程序。很可能您仍然需要数据库来进行用户管理等

2) 如果您使用的是AmazonEMR,您可以使用(或其他方式)将输入放入S3,并以相同的方式得到结果。您还可以通过API直接监控您的EMR帐户

3) Hadoop并不是一个真正的实时环境,更像是一个批处理系统。你可以模拟 通过连续处理传入数据实现实时性,但它仍然不是真正的实时性

我建议看一看文档,读一本关于Hadoop的好书(比如了解堆栈、概念和配置单元(比如)

当然,您也可以根据自己最擅长的内容混合使用各种环境;例如,将Azure网站和SQLAzure用于您的.NET应用程序,将Amazon EMR用于hadoop/hive。考虑到成本模型,无需将所有内容都放在一个地方


希望这能有所帮助。

感谢Kgu87提供的书籍建议。我将在本周末得到它。我还将按照建议查看亚马逊电子病历。我想知道Twitter是如何做到的?他们使用Lucene进行搜索,我明白了……但他们如何如此迅速地得出自己的统计数据让我感到困惑。请查看名为Backtype(Backtype.com)的公司最近被Twitter和Nathan Marz的slideshare演示所收购。简言之,是增量的微批量。应该给你一个大概的想法:)卓越@kgu87。再次感谢!