Deep learning 多摄像机多目标(人)跟踪系统是否有开源解决方案?

Deep learning 多摄像机多目标(人)跟踪系统是否有开源解决方案?,deep-learning,computer-vision,object-detection,tracking,multi-camera-api,Deep Learning,Computer Vision,Object Detection,Tracking,Multi Camera Api,我一直在努力解决一个问题,即我需要通过多个摄像头视点实时跟踪多个人。 我在DukeMTMC数据集上找到了一个解决方案DeepCC(),但不幸的是,由于数据机密性问题,该解决方案已被删除。他们使用快速R-CNN进行目标检测,使用三重丢失进行重新识别,使用DeepSort进行实时多目标跟踪 问题: 1.是否有人可以就同一问题共享其他资源? 2.有没有办法下载并继续使用DukeMTMC数据库来解决多重跟踪问题? 3.有人知道官方网站()什么时候可以再次使用吗 深度学习lib库,或过去的一个好的深度学习

我一直在努力解决一个问题,即我需要通过多个摄像头视点实时跟踪多个人。
我在DukeMTMC数据集上找到了一个解决方案DeepCC(),但不幸的是,由于数据机密性问题,该解决方案已被删除。他们使用快速R-CNN进行目标检测,使用三重丢失进行重新识别,使用DeepSort进行实时多目标跟踪

问题:
1.是否有人可以就同一问题共享其他资源? 2.有没有办法下载并继续使用DukeMTMC数据库来解决多重跟踪问题? 3.有人知道官方网站()什么时候可以再次使用吗


深度学习lib库,或过去的一个好的深度学习库,称为掩码R CNN,或蒙版区域卷积神经网络。虽然我只在图像上使用了该算法,而没有在视频上使用,但同样的原理也适用,并且很容易过渡到视频中的检测对象。该算法使用Tensorflow和Keras,您可以将输入数据(即人的图像)分为两组,即训练和验证

对于培训,请使用第三方软件(如)对图像中的人物进行注释。绘制完注释后,您将导出一个JSON文件,其中包含绘制的所有注释,该文件将用于培训过程。对验证阶段执行相同的操作,但是确保验证中的图像以前没有被算法看到

一旦对这两个组进行了注释并生成了JSON文件,就可以开始训练算法了。Mask R-CNN使训练变得非常容易,您只需传递一行命令即可启动训练。如果您想在GPU上而不是CPU上训练数据,请安装,这在支持的GPU上运行得很好,安装后不需要编码

在培训阶段,您将生成以.h5格式存储的权重文件。根据您选择的历元数,每个历元将生成一个权重文件。训练完成后,您只需在想要检测相关对象(即视频提要中)的任何时候引用该权重文件即可

一些重要信息:

  • Mask R-CNN是一种较旧的算法,但它至今仍能完美地工作。尽管有些人已经将该算法更新为Tenserflow 2.0+,但为了更好地利用它,请使用以下方法
  • Tensorflow gpu 1.13.2+
  • Keras 2.0.0+
  • CUDA 9.0至10.0
老实说,过去对我来说最困难的部分不是使用算法,而是找到Tensorflow、Keras和CUDA的正确版本,它们彼此都能很好地发挥作用,而且不会出错。尽管上述版本可以工作,但请尝试升级或降级某些库,以查看是否可以获得更好的结果

关于带视频的Mask R-CNN的文章,我发现它非常有用且资源丰富。

可以在下面找到GitHub回购协议。

编辑


您可以跨多个摄像头使用此方法,只需在计算机视觉库(如OpenCV)中设置多个视频捕获。我假设这将通过Python完成,Mask R-CNN和OpenCV都主要基于Python。

英特尔OpenVINO framewors拥有此任务的全部部分:

  • 使用预训练更快的RCNN、SSD或YLO进行目标检测

  • 完整的。
    你可以使用其他型号。或者,如果您想在GPU上使用检测功能,请使用opencv_dnn_cuda进行检测,使用OpenVINO进行重新识别。

    感谢您的全面回复。但是,我面临的问题是,我想一起校准多个摄像头,这样,如果一个人出现在任何一个摄像头中,我都可以检测到他/她并分配一个ID。我能够成功地使用(用于检测的yolov3和用于跟踪的deepSort)对单个摄像头进行跟踪,但我想将其扩展到多个摄像头。如果你知道这个领域的任何事情,请告诉我?是的,我以前见过。但这都是黑匣子,如果你想修改某个东西或者为了你的目的对它进行微调,你就不能。另外,在我对OpenVINO框架的展望中,安装过程过于复杂和不清楚。OpenVINO的模型:不是一个完整的答案,只是给你一些提示。没有办法下载DukeMTMC。它包含了大量的数据,被分割成几个zip文件,作者不会再发布它。据我所知,他们甚至给所有以前的基准测试参与者发了一封电子邮件,谴责未来使用DukeMTMC。还有一些替代方案仍然在线,比如CamNeT(但这一个有错误的事实依据)。目前,我的研究小组正在研究一种替代方案,我们的论文正在审查中。如果被接受,我可以把它贴在这里