Opencv 深度估计精度-立体视觉

我正在研究立体视觉，我对这个问题中深度估计的准确性感兴趣。这取决于以下几个因素：

• 正确的立体声校准（旋转、平移和失真提取）
• 图像分辨率
• 相机和镜头质量（失真小，色彩捕捉适当）
• 两幅图像之间的特征匹配

比如说，我们有一个没有低成本相机和镜头（没有便宜的网络摄像头等）

我的问题是，在这一领域，我们可以实现的深度估计精度是多少？ 有人知道一个真正的立体视觉系统，它可以精确地工作吗？ 我们能达到1毫米的深度估计精度吗

---

我的问题也针对opencv中实现的系统。你达到了什么样的准确度？

我想补充一点，即使使用昂贵的相机，使用颜色也是一个坏主意——只需使用灰度梯度即可。一些高端立体相机（例如点灰）的生产商过去依赖于颜色，然后改用灰色。还考虑作为一个立体匹配误差的两个分量的偏差和方差。这一点很重要，因为使用相关立体（例如，具有较大的相关窗口）将平均深度（即，将世界建模为一组fronto平行面片）并减少偏差，同时增加方差，反之亦然。因此，总有一个权衡

除了上面提到的因素外，立体声的准确性还取决于算法的细节。这取决于一种算法来验证深度（立体估计后的重要步骤），并优雅地修补无纹理区域中的孔洞。例如，考虑来回验证（匹配R到L应该产生与L到R匹配的相同候选）、斑点噪声去除（典型的用于去除立体匹配的非高斯噪声）、纹理验证（弱纹理区域中的无效深度）、唯一性验证。（具有单峰匹配分数，无第二和第三强候选。这通常是来回验证的捷径）等。精度还取决于传感器噪声和传感器的动态范围

最后，你必须提出关于精度与深度的函数关系的问题，因为d=f*B/z，其中B是摄像机之间的基线，f是以像素为单位的焦距，z是沿光轴的距离。因此，精度强烈依赖于基线和距离

Kinect将提供1毫米的精度（偏差），误差相当大，高达1米左右。然后它会急剧下降。Kinect将有一个高达50厘米的死区，因为两个摄像头在近距离没有足够的重叠。是的，Kinect是一个立体摄像头，其中一个摄像头由红外投影仪模拟

---

我确信，使用概率立体，例如马尔可夫随机场上的信念传播，可以获得更高的精度。但这些方法假定了一些关于对象曲面平滑度或特定曲面方向的强先验。请参阅。

如果您不想了解更多有关方法精度的信息，请查看，尽管不是长期非常活跃的结果是相当先进的。考虑到有几篇论文是用来创建公司的。你说的真正的立体视觉系统是什么意思？如果你说的是商用立体视觉系统，那么没有很多，大多数商用重建系统都使用结构光或直接扫描仪。这是b因为（你错过了列表中的一个重要因素），纹理是准确度的关键因素（甚至在准确度之前）；除非添加纹理或结构光，否则立体系统无法重建白墙。然而，根据我自己的经验，涉及变分匹配的系统可能非常准确（图像空间中的亚像素精度）最后一句话，摄像机之间的距离对于准确度也很重要：非常近的摄像机会很快找到很多正确的匹配，但准确度会很低，距离越远的摄像机找到的匹配越少，可能需要更长的时间，但结果可能会更准确ere是中定义的最佳二次曲线区域。 在经历了这一切之后，我可以告诉你，使用opencv，你能做的最好的事情之一就是做一个初始摄像机校准，使用Brox的光流找到匹配并重建。

Q.有谁知道一个真正的立体视觉系统能够以一定的精度工作？我们能达到1mm的深度估计精度吗

是的，你绝对可以用立体设备达到1毫米（甚至更好）的深度估计精度（见鬼，你可以用一对显微镜进行立体侦察）。基于立体的工业检测系统的精度在0.1毫米范围内，已经在日常使用中，并且至少从20世纪90年代初就开始使用了。更清楚的是，通过“基于立体的”技术我指的是使用两个或多个几何分离的传感器的三维重建系统，其中通过对传感器中的三维点的匹配图像进行三角剖分来推断点的三维位置。然而，与适当的“基于结构光的三维重建系统”不同，这种系统可能使用结构光投影仪来帮助图像匹配，它不依赖灯光投影仪本身的校准几何体

然而，大多数（很可能是全部）为高精度设计的立体系统使用某种形式的结构化照明，或一些关于重建形状几何结构的先验信息（或两者的组合），以紧密地约束待三角化点的匹配。原因是，一般来说，三角化比匹配更精确，因此匹配精度是重建精度的限制因素

一个直观的方法来解释为什么会出现这种情况，就是看立体重建方程的简单形式：z=FB/d(