Opencv 抛物线(非全景)视频拼接?

Opencv 抛物线(非全景)视频拼接?,opencv,graphics,3d,computer-vision,linear-algebra,Opencv,Graphics,3d,Computer Vision,Linear Algebra,我想做一些类似但相反的事情——这样摄像机就在外面,指向里面。让我们从抽象开始,具体到: 1) 有什么工具可以帮我吗?使用现有的软件我能接近多少 2) 假设最近的工具是像OpenCV这样的图形库。我学过线性代数,并获得了计算机科学学士学位,但没有受过任何图形方面的专门训练。我应该从那里去哪里 3) 如果我真的正在经历一个长达十年的自我教育+编程练习的精神探索来实现这一点,你知道有什么论文或其他资源可以帮助我吗?我认为你链接的演示使用360°摄像头(见底部的黑圈),并且不涉及任何方式的缝合 关于你的

我想做一些类似但相反的事情——这样摄像机就在外面,指向里面。让我们从抽象开始,具体到:

1) 有什么工具可以帮我吗?使用现有的软件我能接近多少

2) 假设最近的工具是像OpenCV这样的图形库。我学过线性代数,并获得了计算机科学学士学位,但没有受过任何图形方面的专门训练。我应该从那里去哪里


3) 如果我真的正在经历一个长达十年的自我教育+编程练习的精神探索来实现这一点,你知道有什么论文或其他资源可以帮助我吗?

我认为你链接的演示使用360°摄像头(见底部的黑圈),并且不涉及任何方式的缝合

关于你的问题,你知道工作吗?它们也不进行缝合,只是在不同的视图之间进行混合

如果使用向内视图,则要观察的对象可能非常接近摄影机,而标准缝合假定对象距离较远。当您更改视点(即视差和遮挡)时,闭合三维对象意味着高失真,这使得在两个视图之间进行插值变得困难。因此,如果需要缝合,那么主要问题是正确处理视图之间的视差效果和遮挡

在我看来,最有希望的方法是在离当前视点最近的两个相机图像之间进行实时立体匹配(即密集3D重建),然后插值估计的差异以生成预期图像。然而,它不太可能实时运行,正如您链接的演示所示,结果可能非常糟糕

编辑


您还可以看看,它使用了一种不同但有趣的方法,但可能对您的情况没有直接的帮助,因为它要求新的视点在可用的图像中可见。

尝试根据演示进行澄清(我花了一分钟时间看了“拖动到此处”的内容)。要在中心移动对象时使用此效果吗?换句话说,你正在寻找一个物体的“全息”渲染,用相机将其包围,然后从任意角度合成它的样子。从数学上讲,我不确定当你有有限数量的相机时,是否有一个精确的解决方案,除非你对解决方案施加一些约束——因为没有办法获得“从一个不在那里的相机上看”的视图。是的,“全息”,就像一部移动的物体电影。我想在我的相机之间缝上一针,我会把它放在一个弧线上。因此,我甚至不需要垂直运动,也不需要完全环绕场景。我同意,进行3D(曲面)重建,然后从任何其他角度渲染对象,可能是你的最佳选择。渲染可以使用GPU加速实时完成,前提是表面渲染不太密集(由于相机数量有限,无法实现)。