Hadoop 如何映射减少顺序数据，其中Kn+；1->；Vn+；1=f（Kn->；Vn）？

我有一个更为理论化的问题，但它涉及到将我过去在没有Hadoop的情况下解决的任务转换为map reduce平台

例如，我们有一个视频文件，从技术上讲，它是一个帧序列，我们需要在每一帧中检测一些圆形物体的特征：（x，y，大小，失真）。检测算法将两件事作为输入：帧本身和前一帧的识别结果

这里的问题是，如何将此类问题转换为map-reduce范式，以便：

将使用减速机带来的好处，在我的情况下，我只能想象mapper

该算法将能够处理序列，而不仅仅是每个帧单独

多谢各位

如果要保留来自每个帧的数据，则不需要 减少步骤。Reduce步骤在Hadoop中是可选的。如果你想 运行一些统计数据（例如，对所有帧的数据求平均值） 可以使用减速机

MapReduce不适合像这样的顺序处理 这

如果您有多个视频要处理，则可以使用每个映射器 处理一个视频。这将为您提供数据并行性

您可以查看相关的Hadoop技术，如或，它们是为并行顺序处理而设计的

---

虽然我很欣赏其他技术的参考；），我想你可以简单地用一个映射器来表示每个视频，其中一个局部变量跟踪最后一帧的识别结果。我个人不会为此使用Hama/HaLoop，因为这不需要任务之间的沟通，也不需要强大的迭代工作。我同意。在不知道算法的情况下，我猜处理一帧的时间与为下一次迭代发送记录的网络延迟相似。另外，如果你没有大量的视频，Hadoop可能是没有必要的，因为你没有大数据需求。