Neural network 语义切分的U-net与FCN背后的直觉

Neural network 语义切分的U-net与FCN背后的直觉,neural-network,artificial-intelligence,image-segmentation,convolutional-neural-network,semantic-segmentation,Neural Network,Artificial Intelligence,Image Segmentation,Convolutional Neural Network,Semantic Segmentation,我不太明白以下几点: 在所提出的方法中,他们提出了一种像素到像素的预测来构造图像中对象的遮罩/精确位置 在稍作修改的FCN生物医学图像分割版本中,主要的区别似乎是“与收缩路径中相应裁剪的特征图连接” 现在,为什么这一特性特别对生物医学分割产生影响?我可以指出,生物医学图像与其他数据集的主要区别在于,在生物医学图像中,定义对象的特征集不如普通日常对象丰富。此外,数据集的大小也是有限的。但这个额外的功能是受这两个事实的启发还是其他原因的启发 U-Net是建立在J.Long的FCN纸上的。两个不同之处

我不太明白以下几点:

在所提出的方法中,他们提出了一种像素到像素的预测来构造图像中对象的遮罩/精确位置

在稍作修改的FCN生物医学图像分割版本中,主要的区别似乎是“与收缩路径中相应裁剪的特征图连接”


现在,为什么这一特性特别对生物医学分割产生影响?我可以指出,生物医学图像与其他数据集的主要区别在于,在生物医学图像中,定义对象的特征集不如普通日常对象丰富。此外,数据集的大小也是有限的。但这个额外的功能是受这两个事实的启发还是其他原因的启发

U-Net是建立在J.Long的FCN纸上的。两个不同之处在于,最初的FCN论文使用解码器的一半对分类进行上采样(即网络的整个后半部分是深度C-类数)

U-Net将下半部分视为在特征空间中,并在最后进行最终分类

关于这一点,国际海事组织生物医学组织(bio medical IMO)没有什么特别之处

FCN vs U-Net:

FCN

  • 它只上采样一次。i、 它在解码器中只有一层
  • 原始实现使用双线性插值对图像进行上采样。也就是说,这里没有可学习的过滤器
  • FCN-[FCN 16s和FCN 8s]的变体添加了较低层的跳过连接,以使输出对缩放变化具有鲁棒性

  • U网

  • 多个上采样层
  • 使用跳过连接和连接,而不是累加
  • 使用可学习的权重过滤器代替固定插值技术

  • 无论出于何种原因,VGG16-FCN-8s(参见我的keras转换)对我来说效果更好,即我无法使用U-Net获得更好的结果。您好,结果将取决于我们正在尝试执行的任务以及我们正在使用的数据集。U-net被特别证明可以用更少的数据(使用数据增强技术)很好地工作。根据我的经验,理想情况下,UNet提供了更好的性能,因为它有多个向上采样层以及更多的跳过连接,从理论上讲,与FCN相比,它更健壮地缩放变量。顺便说一句,你做了什么任务,使用了什么数据集。你也可以在这里发布你的研究论文的链接吗?你是对的,U-Net不是专门用于生物医学的,它非常适合精度(特别是形状)至关重要的生物医学应用,U-Net的跳过连接在这方面很有帮助