Unity3d 如何使用Hololens2手部跟踪数据跟踪玩家与之交互的物理对象的统一位置?

Unity3d 如何使用Hololens2手部跟踪数据跟踪玩家与之交互的物理对象的统一位置?,unity3d,collision-detection,virtual-reality,hololens,mrtk,Unity3d,Collision Detection,Virtual Reality,Hololens,Mrtk,基本上,我正在使用全息透镜2和Unity进行混合现实体验,玩家需要与多个物理对象以及虚拟对象进行交互。其中一个物理对象是一个火炮控制器,它有一个IMU来检测加速度和方向。我的主要挑战是:如何获得物理对象的统一位置,以便准确地向虚拟敌人发射虚拟射弹 我目前的想法是让玩家在游戏开始时将物理武器放置在虚拟边界框内。然后,当玩家拿起物理控制器时,我可以通过与他们的手发生碰撞来跟踪虚拟盒子的位置。OnCollisionCenter或类似的方法是否适用于玩家的双手?(见附图) 我还研究了使用空间感知/图像

基本上,我正在使用全息透镜2和Unity进行混合现实体验,玩家需要与多个物理对象以及虚拟对象进行交互。其中一个物理对象是一个火炮控制器,它有一个IMU来检测加速度和方向。我的主要挑战是:如何获得物理对象的统一位置,以便准确地向虚拟敌人发射虚拟射弹

我目前的想法是让玩家在游戏开始时将物理武器放置在虚拟边界框内。然后,当玩家拿起物理控制器时,我可以通过与他们的手发生碰撞来跟踪虚拟盒子的位置。OnCollisionCenter或类似的方法是否适用于玩家的双手?(见附图)

我还研究了使用空间感知/图像识别/姿势估计来完成这项任务,以及研究使用跟踪基站来确定物体位置(类似于HTC Vive/Oculus Rift)

在此,我们非常感谢您的任何建议、资源和帮助。谢谢大家!

编辑更新11/30/2020:
Hernando在下面的评论中建议使用二维码,假设本项目不允许使用二维码,并且我们希望获得尽可能精确的方向数据。谢谢Hernando

是否允许控制器粘贴多个QR码?如果允许,我们建议您使用帮助定位控制器。如果您更喜欢使用图像识别、对象检测或其他技术,它需要Azure服务或某些第三方库,更多信息请参阅:

要定位对象,建议使用HL2设备快速查找二维码。我也曾在多个场所看到过QR方法用于VR LBE体验,如本文所述。二维码正好位于设备顶部

否则,如果所讨论的控制器支持蓝牙,则可能会对设备进行配对,并且如果设备具有位置信息,则可能会传输其所在位置的位置。根据我从上面看到的,这将是一个定制的解决方案,并且高度依赖于控制器的能力,如果QR码不在等式中。我见过一些控制器解决方案,它们首先启动用户体验,比如触摸地板以获得初始参考点。或者做一些事情,比如总是从现实世界中的特定位置拿起枪,就像一些基于当地的经验在开始之前所做的那样


祝您在项目中好运,我的建议是使用带VR的系统,谢谢您提供的信息,但不幸的是,对于这个项目,我们特别尝试在没有二维码的情况下完成。如果没有二维码,你会怎么做?