Hadoop MapReduce不充分的任务有哪些?

Hadoop MapReduce不充分的任务有哪些?,hadoop,mapreduce,Hadoop,Mapreduce,我想知道是否有任何任务示例不适合MapReduce。有一些具体的例子就好了。谢谢 其中一些可能是主观的,因此我将尽量坚持最一致的观点: 流式数据——MapReduce本质上是批处理的。您在MapReduce中编写的东西偶尔会运行,但很难获取,因此它会实时处理数据流。有一些项目正在计划解决这个问题,比如暴风雪 实时分析——同样,MapReduce是批量的,专为聚合和大规模性能而定制,不会很快得到答案。每个作业都需要1-2分钟的开销,因此使用MapReduce获得不到一分钟的响应时间是非常具有挑战

我想知道是否有任何任务示例不适合MapReduce。有一些具体的例子就好了。谢谢

其中一些可能是主观的,因此我将尽量坚持最一致的观点:

  • 流式数据——MapReduce本质上是批处理的。您在MapReduce中编写的东西偶尔会运行,但很难获取,因此它会实时处理数据流。有一些项目正在计划解决这个问题,比如暴风雪
  • 实时分析——同样,MapReduce是批量的,专为聚合和大规模性能而定制,不会很快得到答案。每个作业都需要1-2分钟的开销,因此使用MapReduce获得不到一分钟的响应时间是非常具有挑战性的。这与作为软件的Hadoop有很大关系,而不是作为范例的MapReduce
  • 记录获取——正如您无法在短时间内运行分析一样,使用MapReduce获取单个记录或小块数据并不容易。MapReduce擅长全表扫描,而不是挑出一两条记录。这是HBase填补的利基
  • 大规模重组——不确定这是一个什么好术语,但任何需要在网络上洗牌大量数据的事情都可能对您的网络基础设施构成挑战。这是因为这些问题没有充分利用数据局部性。这方面的一些例子是总订单排序和跨大型数据集的联接