Computer vision 希望开发一个室内使用的可视里程表（行驶距离）应用程序

是否有任何开源代码可以将室内拍摄的视频（从智能手机，例如家庭或办公楼、走廊）叠加到显示路径的2D图片上？这可以是手绘图片或楼层布局的照片

首先，我想用加速计和罗盘传感器来做这件事，但我想也许用视觉里程表的方法可以获得更好的精确度。我只需要0.5到1米的精度。手机还将在室内收集重要信息（无gps），以便将数据叠加到行驶路径上（这是本项目的实际应用，我们知道如何完成这一部分）。视频的后处理可以稍后在独立计算机上完成，因此速度和cpu功率不是问题

挑战- 用户只需用手携带智能手机，这样摄像师就可以移动（行走）而不是固定 限制视频速率以保持文件大小较小（5帧/秒？可以吗？）。通常需要一个小时的视频

使用手机传感器的输入是否有助于视觉接近

---

非常感谢您的帮助或指导，谢谢

我不知道有哪种软件可以直接做到这一点（尽管它可能存在），但类似于您想要做的事情已经完成了。几点建议：

• 谷歌对你所说的问题的解释与带摄像头的机器人进入新环境时遇到的问题非常相似。在这个领域，通常的方法是让机器人映射其环境，然后使用模型供以后参考，但技术与您需要的类似
• 它会大致告诉你相机的移动方向，但不会告诉你速度，因为你没有客观的参考。这是因为你不知道你在视频馈送中看到的移动的东西是1厘米远，还是非常小，还是1英里远，非常大
• 如果你知道摄像机记录图像的速度，你可以尝试一下技术，以这种速度进行尝试。请注意，您可以在不使用摄影机矩阵的情况下进行3D场景处理（这是您在许多google结果的标题中看到的“未校准”部分），摄影机矩阵将允许您将真实世界的对象大小（以及距离）添加到重建中
• 每秒需要的图像量取决于相机的速度。越多越好，但我猜在步行速度下，5/秒应该足够了
• 使用额外的传感器会有所帮助。也许机器人定位的文章也谈到了这一点

---

我在这个地区工作了很长时间。我想提出三点

只有愿景才是硬的

仅使用手机摄像头进行基于视觉的导航非常困难。大多数文献都有很好的结果，它们显示了约1%的旅行距离是最先进的，但通常使用立体相机。立体声有很大的帮助，尤其是在室内环境中，可以应对音阶漂移。我曾研究过一个系统，该系统实现了0.5%的立体距离，但单目距离仅为5%左右。虽然我不能共享代码，但我们系统的很多部分都是受此启发的

在我们的例子中，立体声代码在桌面上以每秒60帧的速度运行。只要你能足够快地推送数据，就可以了。用你的误差包络线，你只能导航100米左右。够了吗

多传感器是一个不错的选择。尽管其他传感器本身比视力差。

我听过一些关于在脚上安装加速计的很好的工作，当脚在地面上短暂静止时，在脚上安装加速计来进行ZUPT（零速度更新），同时采取步骤以消除漂移。这种方法有一个明显的缺点，就是需要将设备安装在脚上，这使得视觉方法基本上是无用的

指南针很有趣，但它会被办公大楼内的大量金属分散注意力。在大型金属柜周围移动几英尺可能会导致50+度的方向跳跃

最终，如果你能做到这一点，传感器的组合可能是最好的

你能解决一个更简单的问题吗？

---

您对环境的控制程度如何？你能打下基准点标记吗？你能做wifi三角测量吗？是否需要进行初步探索？如果你能事先检查环境并生成与之匹配的视觉气泡（类似于Google Street View），你会更加准确。

顺便说一句，代码也可以被许可。你在寻找这样的东西吗？或者你想开发这样的东西，你是在寻找样本和/或你研究的起点吗？如果已经有，我可以使用或许可，如果没有，那么开发也是一个选择。如果你有样本将是很好的，是的，如果有，也许是一个semilar工作的起点。谢谢，实际上100米就足够了。至于“更简单的问题”，所有这些都是好的选择，但不是一个选项。如果你认为你的单目方法可以工作，比如说可以实现50-100米的跑步和60帧/秒的视频拍摄（即，提供视频在二维地板布局上行驶的距离）也许我可以给你们发送一些走廊的视频和楼层布局，比如，你们可以给我发送一些长途旅行路径，我们可以讨论为我们的一些应用程序许可这样一个系统。谢谢