Python 将眼睛注视（俯仰和偏航）转换为屏幕坐标（人在看什么？）_Python_C++_Opencv_Math_Computer Vision

Python 将眼睛注视（俯仰和偏航）转换为屏幕坐标（人在看什么？）

python c++ opencv math computer-vision

Python 将眼睛注视（俯仰和偏航）转换为屏幕坐标（人在看什么？）,python,c++,opencv,math,computer-vision,Python,C++,Opencv,Math,Computer Vision,我问这个问题是对我以前的问题的修正。现在，我有一张脸在屏幕上看一些位置，还有眼睛的注视坐标（俯仰和偏航）。让我们说左眼=[-0.06222888-0.06577308] 右眼=[-0.04176027-0.44416167] 我想确定这个人可能正在看的屏幕坐标？这可能吗？请帮忙您需要的是：每只眼睛的3D位置和方向你们声称你们得到了它，但俯仰和偏航只是欧拉角，你们还需要一些参考框架和变换顺序来将它们转换回3D矢量。最好将方向保留为向量形式（我怀疑您首先得到了向量形式）。在同一坐标系中，沿所

我问这个问题是对我以前的问题的修正。现在，我有一张脸在屏幕上看一些位置，还有眼睛的注视坐标（俯仰和偏航）。让我们说

左眼=[-0.06222888-0.06577308]

右眼=[-0.04176027-0.44416167]

我想确定这个人可能正在看的屏幕坐标？这可能吗？请帮忙

您需要的是：

每只眼睛的3D位置和方向

你们声称你们得到了它，但俯仰和偏航只是欧拉角，你们还需要一些参考框架和变换顺序来将它们转换回3D矢量。最好将方向保留为向量形式（我怀疑您首先得到了向量形式）。在同一坐标系中，沿所需的方向在3D中的位置也

投影平面的三维定义

所以，至少需要起始位置和2个基向量来定义平面矩形。更好的方法是使用它，因为它允许非常容易地从它的局部坐标系转换到它的局部坐标系

所以我是这样看的：

现在只需要找到光线和平面的交点

P(s) = R0 + s*R
P(t) = L0 + t*L
P(u,v) = P0 + u*U +v*V

求解该系统将获得

u，v

，这也是您所看到的平面内的二维坐标。当然，由于不精确性，这不是代数上可解的。因此，最好将光线转换为平面局部坐标，只需计算每条光线上的点（w=0.0）（使其成为一个简单的线性方程，且单个未知），然后计算左眼和右眼的平均位置（以防它们不能完全对齐）

因此，如果

R0'，R'，L0'，L'

是UVW局部坐标中的转换值，则：

R0z' + s*Rz' = 0.0
s = -R0z'/Rz'
// so...
R1 = R0' - R'*R0z'/Rz'
L1 = L0' - L'*L0z'/Lz'
P = 0.5 * (R1 + L1)

其中

是您在UVW坐标中看到的点

根据您的符号，转换很容易完成，您可以将表示平面的逆矩阵或正矩阵乘以

（R，1）、（L，1）、（R0,0）（L0,0）

。第四个坐标（

0,1

）只是告诉您是在变换向量还是点

如果不了解更多有关坐标系、数据准确性以及已知和未知的信息，就很难比这更具体

如果您的平面是摄影机投影平面，而不是

U，则V

是从摄影机拍摄的图像的x轴和y轴，W与之垂直（方向只是符号问题）

由于您使用的是使用透视投影的相机输入，我希望您的位置和矢量能够得到校正。