Multithreading Hadoop可以减少SIFT的运行时间吗?

Multithreading Hadoop可以减少SIFT的运行时间吗?,multithreading,hadoop,real-time,sift,Multithreading,Hadoop,Real Time,Sift,我们可以使用hadoop在多个图像上运行SIFT吗 SIFT在每幅图像上花费~1秒来提取关键点及其描述符。考虑到每次运行都是独立于其他运行的,并且不能减少1次运行的运行时间,我们可以减少运行时间吗 多线程将运行时间缩短了现有核心处理器数量的一倍。我们可以在每个处理器上运行每个图像 hadoop可以在多个映像上并行运行吗? 如果是,假设我们有3个集群,它可以减少运行时间的因素是什么?是的,Hadoop可以用于从多个图像中提取SIFT描述符。这是一个例子 Hadoop将在所有集群节点上并行处理图像。

我们可以使用hadoop在多个图像上运行SIFT吗

SIFT在每幅图像上花费~1秒来提取关键点及其描述符。考虑到每次运行都是独立于其他运行的,并且不能减少1次运行的运行时间,我们可以减少运行时间吗

多线程将运行时间缩短了现有核心处理器数量的一倍。我们可以在每个处理器上运行每个图像

hadoop可以在多个映像上并行运行吗?

如果是,假设我们有3个集群,它可以减少运行时间的因素是什么?

是的,Hadoop可以用于从多个图像中提取SIFT描述符。这是一个例子

Hadoop将在所有集群节点上并行处理图像。但是潜在的加速取决于图像数据集的大小。如果大小较小,则运行时可能会由于Hadoop开销而增加

您可能会遇到两个问题

  • 将图像复制到HDFS可能会很慢。在一台计算机上处理所有图像,然后将它们复制到HDFS并在3节点集群上处理,可能会更快。它取决于数据集的大小和集群中的节点数

  • 通常,与HDFS块大小(默认为64M)相比,图像大小较小。Hadoop无法处理此类文件()。可以使用Hadoop序列文件将多个小图像文件合并为一个大文件。OpenIMAJ包含SequenceFileTool,可用于此目的