Image processing 三维重建——如何从二维图像创建三维模型？

如果我用相机拍照，这样我就知道相机到物体的距离，比如房子的比例模型，我想把它转换成一个3D模型，我可以在这个模型上移动，这样我就可以对房子的不同部分进行评论

如果我坐下来考虑拍摄多张照片，标记方向和距离，我应该能够想出如何做到这一点，但是，我想我会问是否有人有一些论文可以帮助解释更多

你用什么语言解释并不重要，因为我正在寻找最好的方法

现在我正在考虑展示房子，然后用户可以在高度上提供一些帮助，比如从相机到模型顶部的距离，如果有足够的距离，就可以开始计算其余部分的高度，特别是如果有自顶向下的图像，然后从四面的角度拍摄，计算相对高度

然后各部分将需要在颜色上有所不同，以帮助分离出模型的各个部分

（免费）有一个摄像头，允许您拍照并匹配其透视图，以便于建模

编辑：您似乎对开发自己的解决方案感兴趣。我以为你想在一个实例中获得一个图像的3D模型。如果这个答案没有帮助，我道歉。

这个问题被称为

---

谷歌将为你提供无尽的参考资料，但要知道，如果你想自己动手，这是一个非常难解决的问题。

如前所述，这个问题非常难解决，通常也被称为。通常通过解决每对连续图像的立体视图重建问题来实现

执行立体重建需要拍摄具有大量物理点可见重叠的成对图像。您需要找到这样的点，然后可以使用三角测量来找到点的三维坐标

极线几何学 立体重建通常是通过首先校准您的相机设置来完成的，这样您就可以使用立体重建理论校正图像。这简化了寻找对应点以及最终的三角剖分计算

如果您有：

• （要求）
• 相机的位置和旋转（它的位置）以及
• 在两张照片中具有匹配已知位置的8个或更多物理点（使用时）

您可以仅使用矩阵理论计算和，并使用这些来校正图像。这需要一些关于和的理论，以及和的知识

如果您想要一种不需要摄像机参数且适用于未知摄像机设置的方法，那么您可能应该研究该方法

对应问题 找到对应的点是一个棘手的部分，需要你寻找相同亮度或颜色的点，或者使用纹理图案或其他一些特征来识别成对图像中的相同点。这方面的技术要么通过在每个点周围的小区域中寻找最佳匹配来局部工作，要么通过将图像作为一个整体来全局工作

如果您已经有了，它将允许您校正图像，以便将两个图像中的对应点约束为一条线（理论上）。这有助于您使用更快的本地技术

目前还没有解决通信问题的理想技术，但可能的方法可分为以下几类：

• 手动选择：让人手动选择匹配点
• 自定义标记：放置标记或使用易于识别的特定图案/颜色
• 平方差之和：在一个点周围取一个区域，在另一幅图像中找到最接近的整个匹配区域
• 图割：一种基于图论优化的全局优化技术

对于特定的实现，您可以使用它来搜索当前的文献。下面是一篇被高度引用的论文，比较了各种技术：

多视图重建 获得相应的点后，可以使用极线几何理论进行三角剖分计算，以找到点的三维坐标

然后对每一对连续图像重复整个立体重建（这意味着您需要对图像进行排序，或者至少知道哪些图像有许多重叠点）。对于每一对，你将计算一个不同的基本矩阵

当然，由于每个步骤中的噪声或不准确，你可能想考虑如何以更全面的方式解决这个问题。例如，如果在对象周围拍摄了一系列图像并形成了一个循环，则这提供了额外的约束，可以使用类似的方法来提高早期步骤的精度

正如您所看到的，立体和多视图重建远未解决问题，仍在积极研究中。你越不想以自动化的方式去做，问题就变得越明确，但即使在这些情况下，也需要相当多的理论来开始

选择 如果在您想要做的限制范围内，我建议您考虑使用专用硬件传感器（如），而不是仅使用普通摄像头。这些传感器使用结构光、飞行时间或其他一些距离成像技术生成深度图像，它们还可以将深度图像与自己相机的颜色数据相结合。它们实际上为您解决了单视图重建问题，并且通常包括用于缝合/组合多个视图的库和工具

极线几何参照 事实上，我对大部分理论的了解都很薄弱，所以我只能尽我所能