Neural network 掩模R-CNN实例分割与目标检测

我有一个目标检测问题，我的数据由带有边框的图像组成。我已经回顾了几个最先进的对象检测网络（），我很难看到实例分割在哪里结束，对象检测在哪里开始

我试图找出在使用边界框标注的数据进行训练时，什么性能最好。像mask R-CNN这样的东西会比速度更快的R-CNN表现得更好吗？或者这种性能提升会要求在微调之前，所有数据都在像素级别进行分割，而不是使用边界框进行注释吗？如果在边界框上训练并且没有分段数据，mask R-CNN会比更快的R-CNN表现更好吗？我知道你可以用mask R-CNN进行边界框推断，但是你能在没有像素级分割的情况下训练模型吗？不需要像素级分割训练的最先进的目标检测技术是什么

像mask R-CNN这样的东西会比速度更快的R-CNN表现得更好吗？或者这种性能提升会要求在微调之前，所有数据都在像素级别进行分割，而不是使用边界框进行注释吗

是的，Mask R-CNN确实需要在像素级别对数据进行分割，因为它是一个分割模型，比对象检测模型高一个级别，也更复杂

如果在边界框上训练并且没有分段数据，mask R-CNN会比更快的R-CNN表现更好吗

否，遮罩R-CNN基于更快的R-CNN目标检测，并添加了分割模块。因此，如果使用边界框对数据进行注释，更快的R-CNN就足够了，使用掩码R-CNN也没有意义

我知道你可以用mask R-CNN进行边界框推断，但是你能在没有像素级分割的情况下训练模型吗

是的，也许你可以用这种方式训练模型，但是性能不好。这样做也没有任何意义，因为Mask R-CNN比速度更快的R-CNN稍微慢一点

不需要像素级分割训练的最先进的目标检测技术是什么

---

在对象检测和分割之间进行选择取决于应用程序和您的目的。例如，如果你正在处理医学图像，并试图检测肿瘤，那么你需要进行分割，但如果要检测街道上的汽车，你可能不关心汽车的确切边界，你只想知道汽车在图像上的位置。对于这种类型的应用，对象检测就足够了。对于同样是实时的最先进的目标检测，我建议使用，因为它非常快，性能与R-CNN一样快，如果不是更好的话。

只是为了增加更多的背景，在Rohit Malhotra等人开发的工作中。[1]作者使用了深度掩蔽R-CNN模型，一个用于对象实例分割的深度学习框架，用于检测和量化个体数量。在这项工作中，他们使用面罩R-CNN来检测人数。另一方面，更快的R-CNN[2]通过添加一个分支来预测生成的每个感兴趣区域（RoI）的分割掩码，从而扩展到掩码R-CNN 更快的R-CNN。最后，作者测量了模型在图像序列上的精确度和召回率。结果如图所示

该方法可用于收集探视政策、医疗程序的频率和时间对患者睡眠-觉醒周期的影响及其结果（如住院时间）研究所需的可靠准确数据Mask R-CNN也可用于关键点检测，可用于检测医院患者的姿势

[1] Rohit Malhotra，K.，Davoudi，A.，Siegel，S.，Bihorac，A.和Rashidi，p.，2018年。使用深面罩R-CNN自主检测重症监护病房的中断。《IEEE计算机视觉和模式识别研讨会会议记录》（第1863-1865页）

---

[2] Ren，S.，He，K.，Girshick，R.和Sun，J.，2015年。更快的r-cnn：通过区域建议网络实现实时目标检测。神经信息处理系统的进展（第91-99页）。

感谢大家的热烈响应，这证实了我的许多猜测。对于我的任务，我并不真正关心速度（这就是为什么我倾向于使用两级探测器）。你认为更快的R-CNN比视网膜网更准确吗？你对更快的R-CNN最近的改进有什么建议吗？看起来TridentNet是基于更快的R-CNN的，而且性能很好。这是一个很好的比较。我还没有尝试过RetinaNet，但基于它，我的表现应该会更好。你可能已经看到了三叉戟网可能是最佳选择。