Deep learning 利用梯度上升法进行图像分割

Deep learning 利用梯度上升法进行图像分割,deep-learning,conv-neural-network,gradient-descent,crf,Deep Learning,Conv Neural Network,Gradient Descent,Crf,我正在通过梯度上升使用显著性贴图进行图像分割。 以下是该过程的图像: 我有一个经过训练的模型,可以准确地预测我的课程。然后使用该模型计算具有梯度上升wrt损失的输入图片的梯度。对我来说,这里产生的梯度代表了模型在预测中的重点 我运行一个分位数过滤器来挑选与类最相关的梯度值(像素),然后从中生成一个二进制掩码。这很有效,但是发现贴图可以更精确,更紧密地围绕图像中的类。我读过关于条件随机场作为一种机制来生成更精确、更平滑的分割结果的文章,并试图实现这一点,但感觉好像我对这里生成的梯度没有完全的理解

我正在通过梯度上升使用显著性贴图进行图像分割。 以下是该过程的图像:

我有一个经过训练的模型,可以准确地预测我的课程。然后使用该模型计算具有梯度上升wrt损失的输入图片的梯度。对我来说,这里产生的梯度代表了模型在预测中的重点

我运行一个分位数过滤器来挑选与类最相关的梯度值(像素),然后从中生成一个二进制掩码。这很有效,但是发现贴图可以更精确,更紧密地围绕图像中的类。我读过关于条件随机场作为一种机制来生成更精确、更平滑的分割结果的文章,并试图实现这一点,但感觉好像我对这里生成的梯度没有完全的理解


我的问题是:在这种情况下,梯度到底代表什么?我猜这些值本质上是像素级预测/像素标签。这相当于一元电位吗?

有一种端到端的训练方法,将神经网络与CRF结合起来,它完全按照您的要求进行训练。这篇论文是这样的:

根据您的示例图像,我有两个建议。像素标签和电势之间的差异在本教程中有很好的描述:

  • 分位数过滤器在对象处有过满。我怀疑您将图像值规格化为[0..255]范围,并在感兴趣的对象处具有这种“波浪效应”。如果首先将图像值按小于1的某个因子(例如0,5或0,1)进行缩放,则可以将其正常化为范围[0..255],并使用阈值提取更精确的类区域
  • 你可以为你的CRF尝试高级成对电位。例如对比敏感电位,甚至。它们可能有助于更精确地细化类对象。 此外,值得尝试添加更多功能来训练一元潜能。HOG或稀疏编码特性可能会有所帮助