Opencv 基于内、外摄像机参数的图像匹配_Opencv_Image Processing_Camera Calibration

Opencv 基于内、外摄像机参数的图像匹配

opencv image-processing

Opencv 基于内、外摄像机参数的图像匹配,opencv,image-processing,camera-calibration,Opencv,Image Processing,Camera Calibration,目前，我有一个图像数据集（帧序列）和内置的摄像机校准矩阵。此外，对于每个图像，我都有外部参数（旋转和平移）我想知道是否可以使用这些参数来找到每对图像之间的正确像素对应关系我发现了平移（t）和旋转（R）与两个不同视角之间的每个对应点之间的关系我猜使用上面的图像，只需要固定一个“x”点（齐次坐标）并求解“x”的方程组，但我不知道使用的是什么操作（符号）。如果有人知道如何使用matlab，我希望能得到一些帮助此外，如果有其他方法可以使用相同的信息来发现匹配，我希望有人能提供帮助谢谢不，此信

目前，我有一个图像数据集（帧序列）和内置的摄像机校准矩阵。此外，对于每个图像，我都有外部参数（旋转和平移）

我想知道是否可以使用这些参数来找到每对图像之间的正确像素对应关系

我发现了平移（t）和旋转（R）与两个不同视角之间的每个对应点之间的关系

我猜使用上面的图像，只需要固定一个“x”点（齐次坐标）并求解“x”的方程组，但我不知道使用的是什么操作（符号）。如果有人知道如何使用matlab，我希望能得到一些帮助

此外，如果有其他方法可以使用相同的信息来发现匹配，我希望有人能提供帮助

谢谢

不，此信息不足以找到帧之间的点对应关系。我将首先解释我认为你可以用给定的信息做什么，然后我们将看到为什么不可能仅从基本元素获得像素到像素的匹配

您可以做什么。对于点
```
m
```
，您可以使用基本矩阵在另一幅图像上找到
```
m'
```
所在的直线。假设你在问题中给出的
```
X
```
和
```
X'
```
分别被投影到
```
m
```
和
```
m'
```
，即
从你的方程开始，我们有：
```
 X^{T}EX'=0  ==>  m^T K^{-T} E K^{-1} m' 
```
矩阵
```
K^{-T}E K^{-1}
```
，我们将注意到
```
F
```
，称为基本矩阵，现在图像平面中的2d点之间有一个约束：
```
 m^TFm'=0
```
请注意，
```
m
```
和
```
m'
```
是用齐次坐标表示的三维矢量。这里要注意的有趣的事情是，
```
Fm'
```
是
```
m
```
位于第一个图像上的线（因为上面给出的约束只不过是
```
m
```
和
```
Fm'
```
之间的点积）。类似地，
```
m^TF
```
是另一幅图像上的一行，
```
m'
```
预计位于其中。因此，要找到
```
m
```
的匹配项，您可以在
```
Fm'
```
附近搜索
为什么无法获得像素到像素的匹配。让我们从直观的角度来看约束
```
xEx'=0
```
意味着什么。基本上，它说的是我们期望
```
x
```
，
```
x'
```
和基线
```
T
```
是共面的。假设您修复了
```
x
```
，并查找满足
```
xEx'=0
```
的点。然后，当图形中的
```
x'
```
满足此约束条件时，每个点
```
n
```
（从
```
y
```
重新投影）如下图所示也将是一个很好的候选点：

这表明正确的匹配取决于您对
```
x
```
深度的估计，而您没有

 m^TFm'=0