Computer vision 确定特征是否是稀疏光流（KLT）中移动对象的一部分

我已经用KLT从一系列图像中提取了光流。 摄像机位于移动车辆上，拍摄交通场景。 现在，我可以获得匹配结果，没有不匹配的点

我只使用OpenCV函数C++来提取特征和跟踪。不过我对编程没有问题

cvGoodFeaturesToTrack， cvFindCornerSubPix，CVCalCopticalFlowPyrk

有人能建议我应该研究什么主题/论文来区分我的匹配点是否是运动物体的一部分吗？我不想恢复相机的运动。仅用于检查该点是否来自移动的对象

我没有测距仪或其他传感器之类的外部资源，但我知道安装在摄像头上的汽车的速度，以及摄像头固定在车辆上的角度（如果车辆在道路上倾斜）。不过我不知道横摆率

检查光流的方向和距离不够。例如，在相对位置移动的车辆的光流通常类似于静止特征，或者车辆以与摄像头相同的速度移动

我应该学习哪个主题来处理这个问题？如果我必须在FOE或Kalman滤波器或其他之间选择？我想知道兰萨克是否会帮忙。 我读过几篇学术论文，但似乎运气不好。我浏览了一下卡尔曼滤波器，但不确定这有什么帮助。我还发现关于FOE的资源非常有限，尤其是在教科书中

---

我很感激每一个答案。非常真诚地感谢

我不确定这是否不适合回答我自己的问题。但是，由于没有人回答这个问题，而且我也做了一些研究工作，虽然不是一个成功的故事，我想我最好分享一些。这可能对那些有同样问题的人有所帮助

我有一系列捕捉城市交通场景的图像。这些图像每0.5秒用智能手机在行驶中的汽车上拍摄一次

出于测试目的，我只使用了几对图像进行测试，而不是整个序列。我使用KLT获得了许多匹配点，并执行了两步异常值去除。匹配结果良好，没有或很少数量的不匹配

为了拒绝移动对象上的点，我遵循了以下论文中介绍的工作：

Jung，B.和Sukhatme，G.S.，2004年。室外环境下移动机器人单摄像机运动目标检测 在一本杂志上发表的一个修订版本名为“移动机器人的实时运动跟踪”

总之，在他们的部分工作中，他们通过计算一对图像之间的转换模型来拒绝移动对象的异常值。这项工作使用了双线性模型。程序是，他们计算转换模型参数T，并拒绝匹配的if | x2-Tx1 |<阈值。这里，x2和x1表示在时刻t2和t1图像上的一对对应点

我尝试了T作为仿射模型、双线性模型和伪透视模型。我的实验结果表明，如果移动对象的数量不小，这个过程将总是失败，因为它们依赖于匹配点。在我的例子中，图像是在城市交通场景中拍摄的，该场景中有很多运动物体。因此，我不能用这种技术丢弃异常值。所以，我相信RANSAC也帮不上忙。这就是为什么很多论文假设有少量的运动物体。在这三个模型中，我发现仿射显示的结果最差，但不能说在其他两个模型中哪一个更好

---

我希望这可能会有所帮助。

这是一个有趣的问题，但听起来您更多的是询问有关算法的一般建议，而不是具体的编程问题，因此最好将此问题放在dsp.stackexchange.com网站上。另外，如果你提供一些图片/一些代码来解释你必须从什么开始，你尝试了什么，以及你希望结果是什么，这将鼓励你给出好的答案。谢谢你的评论。我只是搜索了关于光流的问题，系统自动把我带到了这里，我不知道如何把我的问题改成这个。我将放置我的图像及其流结果。谢谢。我试过了，但作为一种新用法，我不能发布图像。你应该能够将图像发布到外部站点并链接到这里，然后有更高代表性的人可以将其移动到其他站点。@Chris，谢谢，但我最终学习了更多。我相信我需要更多地了解FOE——这应该会给我一些关于这方面的线索。