从光流计算OpenGL矩阵

我正在尝试实现一个无标记的增强现实应用程序——著名的眼镜虚拟试穿。我使用光流（金字塔卢卡斯卡纳德）来跟踪用户的脸-这已经足够好了。最初，用户被要求将他的脸放在屏幕上显示的面部占位符上。如果在目标区域检测到人脸和眼睛，我将使用cvGoodFeaturesToTrack获取初始点并开始跟踪。这就是我被困的地方。我真的不明白如何使用光流结果来转换OpenGL场景。此外，我应该如何设置初始透视图，以便我的虚拟眼镜准确地放置在用户的脸上（假设他正朝着相机站着，以匹配占位符）？ 我使用Qt&一个QGLWidget。openCV图像在OpenGL中使用正交投影显示为纹理。我不校准照相机。我发现作为参考的是。这基本上就是我所需要的，但我没能让它为我工作（如果我不使用正交投影/solvePnP抛出异常等，那就是一个黑屏）。与我的方法有一些不同，比如纹理不是使用正交投影显示的&它们有用于相机校准的数据。

---

基本上，我想知道将光流数据转换为OpenGL转换的基本思想，最好的方法是什么？

这里有很多问题，在这种形式下很难合理回答。你应该把它分成小块。如果您这样做了，您可能会找到许多资源，至少用于OpenGL调试。不幸的是，很难找出问题所在这一事实相当普遍。谢谢你的评论。我已经编辑了我的问题。我需要帮助的是，使用光流结果得到旋转/平移矩阵&比例因子。剩下的只是我想做的解释。