C# 用于在Unity3D中定位3D对象的OpenCV旋转（Rodrigues）和平移向量

我正在使用“OpenCV for Unity3d”资产（它与Java的OpenCV软件包相同，但被翻译为C#for Unity3d），以便为我的MSc论文（计算机科学）创建增强现实应用程序

到目前为止，我能够使用ORB特征检测器从视频帧中检测出一个对象，并且我还可以使用OpenCV的SolvePnP方法找到3D到2D的关系（我也进行了相机校准）。 通过这个方法，我得到了平移和旋转向量。问题发生在增强阶段，我必须将3d对象显示为虚拟对象，并在每一帧更新其位置和旋转。OpenCV返回Rodrigues旋转矩阵，但Unity3d使用四元数旋转，因此我错误地更新了对象的位置和旋转，我不知道如何实现forumla（从Rodrigues到四元数）的转换

获取rvec和tvec：

    Mat rvec = new Mat();
    Mat tvec = new Mat();
    Mat rotationMatrix = new Mat ();

    Calib3d.solvePnP (object_world_corners, scene_flat_corners, CalibrationMatrix, DistortionCoefficientsMatrix, rvec, tvec);
    Calib3d.Rodrigues (rvec, rotationMatrix);

正在更新虚拟对象的位置：

    Vector3 objPosition = new Vector3 (); 
    objPosition.x = (model.transform.position.x + (float)tvec.get (0, 0)[0]);
    objPosition.y = (model.transform.position.y + (float)tvec.get (1, 0)[0]);
    objPosition.z = (model.transform.position.z - (float)tvec.get (2, 0)[0]);
    model.transform.position = objPosition;

我的Z轴有一个减号，因为当你将OpenCV转换成Unty3d的系统坐标时，你必须反转Z轴（我自己检查了系统坐标）

Unity3d的坐标系（绿色为Y，红色为X，蓝色为Z）：

OpenCV的坐标系：

此外，我对旋转矩阵做了相同的操作，并更新了虚拟对象的旋转

p、 s我发现了一个类似的问题，但提出这个问题的人并没有明确给出答案

---

谢谢

您的旋转3x3矩阵正好位于cv:：solvePnP之后。由于矩阵是旋转矩阵，因此它既是正交的，又是归一化的。因此，该矩阵的列按从左到右的顺序排列：

右向量（在X轴上）

上方向向量（Y轴上）

正向矢量（在Z轴上）

OpenCV使用右手坐标系。坐在摄像机上沿光轴看，X轴向右，Y轴向下，Z轴向前

将前向向量F=（fx，fy，fz）和上向向量U=（ux，uy，uz）传递给Unity。这分别是第三列和第二列。不需要正常化；它们已经正常化了

在Unity中，按如下方式构建四元数：

Vector3 f; // from OpenCV
Vector3 u; // from OpenCV

// notice that Y coordinates here are inverted to pass from OpenCV right-handed coordinates system to Unity left-handed one
Quaternion rot = Quaternion.LookRotation(new Vector3(f.x, -f.y, f.z), new Vector3(u.x, -u.y, u.z));

差不多就是这样。希望这有帮助

为职位相关评论编辑

注：OpenCV中的Z轴位于相机的光轴上，该光轴穿过图像中心附近，但通常不完全位于中心。在您的校准参数中，有Cx和Cy参数。这些组合是图像空间中从中心到Z轴穿过图像的位置的2D偏移。为了在2D背景上准确地映射3D内容，必须考虑这种变化

要在统一中获得正确的定位：

// STEP 1 : fetch position from OpenCV + basic transformation
Vector3 pos; // from OpenCV
pos = new Vector3(pos.x, -pos.y, pos.z); // right-handed coordinates system (OpenCV) to left-handed one (Unity)

// STEP 2 : set virtual camera's frustrum (Unity) to match physical camera's parameters
Vector2 fparams; // from OpenCV (calibration parameters Fx and Fy = focal lengths in pixels)
Vector2 resolution; // image resolution from OpenCV
float vfov =  2.0f * Mathf.Atan(0.5f * resolution.y / fparams.y) * Mathf.Rad2Deg; // virtual camera (pinhole type) vertical field of view
Camera cam; // TODO get reference one way or another
cam.fieldOfView = vfov;
cam.aspect = resolution.x / resolution.y; // you could set a viewport rect with proper aspect as well... I would prefer the viewport approach

// STEP 3 : shift position to compensate for physical camera's optical axis not going exactly through image center
Vector2 cparams; // from OpenCV (calibration parameters Cx and Cy = optical center shifts from image center in pixels)
Vector3 imageCenter = new Vector3(0.5f, 0.5f, pos.z); // in viewport coordinates
Vector3 opticalCenter = new Vector3(0.5f + cparams.x / resolution.x, 0.5f + cparams.y / resolution.y, pos.z); // in viewport coordinates
pos += cam.ViewportToWorldPoint(imageCenter) - cam.ViewportToWorldPoint(opticalCenter); // position is set as if physical camera's optical axis went exactly through image center

---

您将从物理相机检索到的图像放在虚拟相机正前方，以其前轴为中心（按比例缩放以适应平截面），然后在2D背景上映射正确的3D位置

现在一切都有意义了：）顺便说一句，我认为我的翻译向量是错误的。3d对象在场景中移动错误！我做错了什么？对于位置，反转Y坐标，就像你们必须对方向向量做的一样。但有一件非常重要的事情需要注意：Z轴是相机的光轴，通常不会穿过图像中心。在您的校准参数中，有Cx和Cy参数。这些组合是图像空间中相机光轴（Z轴）在图像中穿过的距离图像中心的2D偏移。为AR应用程序在2D背景上映射3D内容非常重要！那么，为了使其正常工作，必须进行哪些修改？摄像机校准后，我得到了摄像机的固有参数。为了正确定位虚拟对象，我必须如何使用它们？我非常感谢您的帮助以及您花时间向我解释这些事情！最后一个问题：）：Unity3D使用的测量单位是什么？我的3D坐标是用厘米初始化的。在游戏中，一个单位中的一个无单位通常被解释为一米。您可以根据需要缩放位置。