Computer vision 我们需要在Kanade Lucas-Tomasi跟踪器中计算光流吗？

我想了解Kanade Lucas Tomasi tracker。 这是如何完成的概述（我从一些讲座中读到）：

1. Find harris corners 
2. For each corner compute displacement to next frame
using the Lucas-Kanade method
3. Store displacement of each corner, update corner position
4. (optional) Add more corner points every M frames using 1
5. Repeat 2 to 3 (4)
6. Returns long trajectories for each corner point

我的疑问是，我们是否需要计算某一点的光流，或者仅仅是位移矢量就足以执行该算法？

---

如果没有，那么为什么要讨论光流这个话题呢？

位移矢量是拐角位置（密集）光流的一个样本。顺便说一句，虽然哈里斯角通常是初始化搜索的好位置，但严格来说，你需要一个较弱的检测器，请参阅Shi&Tomasi的经典“跟踪的良好特性”.

Kanade Lucas-Tomasi跟踪器与光流相关，因为位移矢量是光流矢量，但在稀疏意义上，而不是密集的光流场。这是因为跟踪器基于Lucas Kanade方法估计位移向量。Lucas-Kanade方法是基于强度不变假设的，该假设由一阶Taylor近似求解。这种近似称为光流方程，由Horn和Schunk发明。Lucas-Kanade方法被归类为局部光流方法，而目前大多数光流方法都是产生密集运动场的全局方法

不是对KLT最准确或最有用的描述。这样更好：

查找要跟踪的特征（例如角点）

对于每个特征，计算到下一帧的位移 使用Lucas Kanade方法

存储所跟踪特征的轨迹

（可选）随时间添加和删除功能

返回每个特征的轨迹

虽然@Tobias senst答案在技术上并不错误，但它忽略了一个非常重要的事实：

---

Lucas-Kanade方法不限于估计位移。事实上，在KLT跟踪器中使用LK几乎假设在位移顶部至少进行旋转和缩放变形。对于许多应用，完全仿射解决方案是有益的。这意味着您需要求解6个参数，而不仅仅是位移的2个参数（u，v）。

在光流中，我们计算u和v，即速度dx/dt和dy/dt。我们如何计算运动矢量。我们用帧速率乘以u和v吗？要得到真实世界的运动并不是那么容易，因为光流给你3D真实世界运动的2D投影。有关更多详细信息，请参阅SLAM方法等。