基于Hadoop流媒体的图像和视频检测
我们目前正在进行一个项目，希望在大约80-100台linux服务器的集群上执行图像/视频检测算法。我们搜索了可能的软件工具，认为Hadoop是一个可能的解决方案。我安装了Hadoop在VMware图像作为主/从配置，并能够执行分析程序编写的C++通过Hadoop流。由于分析算法的性质，我们无法将大约1GB大小的视频文件拆分为多个片段。由于Hadoop Map/Reduce通过将输入文件划分为64MB-128MB的拆分来工作，并将程序分配给拆分驻留数据位置的相应节点，因此我无法使程序在从属节点上运行，而只能在主节点上运行。因此，在这一点上，我们可以让Hadoop流媒体基于节点可用性CPU等执行程序，而不是在节点上拆分位置吗？ 我想知道Hadoop是否是执行图像/视频检测算法的正确工具？是否有更好的解决方案，如ApacheMesos/Spark等基于Hadoop流媒体的图像和视频检测,hadoop,video,streaming,detection,Hadoop,Video,Streaming,Detection,我们目前正在进行一个项目，希望在大约80-100台linux服务器的集群上执行图像/视频检测算法。我们搜索了可能的软件工具，认为Hadoop是一个可能的解决方案。我安装了Hadoop在VMware图像作为主/从配置，并能够执行分析程序编写的C++通过Hadoop流。由于分析算法的性质，我们无法将大约1GB大小的视频文件拆分为多个片段。由于Hadoop Map/Reduce通过将输入文件划分为64MB-128MB的拆分来工作，并将程序分配给拆分驻留数据位置的相应节点，因此我无法使程序在从属节点上运
诚恳地我们对上述问题进行了一些研究，并得出结论，就我们的案例而言，hadoop/spark的实现只是针对特定视频文件运行分析模块，这将是一种过激的做法，从反面展示ear。更好的实现将是利用开源MPI/调度程序应用程序。经过分析，即使是开发一个运行在多个节点上的作业调度器似乎也相当容易，可以在相对2-3个月的时间内开发出来 诚恳