Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/oracle/10.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Twitter风暴v/s Apache Hadoop_Hadoop_Apache Storm - Fatal编程技术网

Twitter风暴v/s Apache Hadoop

Twitter风暴v/s Apache Hadoop,hadoop,apache-storm,Hadoop,Apache Storm,如果有人能给我解释一下twitterstrom和apachehadoop之间的架构差异,那就太好了?我正在寻找一些超越实时v/s批处理的内部内容。由于这两种技术在Hadoop上为Storm或map reduce编写拓扑结构、Hadoop的任务跟踪器/作业跟踪器和Storm的等效nimbus/supervisor、Storm的Hadoop分区和等效洗牌(随机、字段等)等方面非常相似。(如果我说Storm在内部使用消息队列在喷口/螺栓之间传输数据,这与Hadoop的情况不完全相同,因为在Hadoop

如果有人能给我解释一下twitterstrom和apachehadoop之间的架构差异,那就太好了?我正在寻找一些超越实时v/s批处理的内部内容。由于这两种技术在Hadoop上为Storm或map reduce编写拓扑结构、Hadoop的任务跟踪器/作业跟踪器和Storm的等效nimbus/supervisor、Storm的Hadoop分区和等效洗牌(随机、字段等)等方面非常相似。(如果我说Storm在内部使用消息队列在喷口/螺栓之间传输数据,这与Hadoop的情况不完全相同,因为在Hadoop中创建了中间文件,因此涉及I/O。)

编辑:

我已经回答了这个问题,但接受的答案让我渴望了解的不仅仅是用例,即实时v/s批处理。

Nathan Marz(Storm creator)正在写一本书,讨论如何使用Hadoop、Storm和其他技术创建大数据系统


这本书讨论的是“Lambda架构”。请查看Nathan Marz本人的这张幻灯片:

主要区别在于Storm可以对元组流(传入数据)进行实时处理,而Hadoop可以对MapReduce作业进行批处理


它们都以分布式方式处理数据,但使用storm,您可以进行实时分析,而您必须等待mapreduce作业完成后才能使用结果。

可靠系统的体系结构通常几乎相同。正如您所指出的,唯一真正的区别是存储和发送数据的策略。我我等这本书出版的时间太长了。