Machine learning 用于检测梯度变化的CNN?(深度图)

Machine learning 用于检测梯度变化的CNN?(深度图),machine-learning,deep-learning,neural-network,computer-vision,conv-neural-network,Machine Learning,Deep Learning,Neural Network,Computer Vision,Conv Neural Network,我有一个问题,在忽略噪声和伪影的情况下,我试图在深度贴图中找到梯度的变化。我用它来检测可行驶路面上的“脱落”,这些脱落主要出现在路缘上。在彩色图像中很难检测到这些边,因为路缘两侧可能具有相同的曲面,并且路缘样式、颜色和方向在不同位置之间可能会有很大差异: 因此,决定使用深度图 虽然深度的变化可以用一个相当简单的算法来完成,但忽略(或至少识别)噪声和伪影确实很难做到。我目前的方法是简单地将图像移动几个像素,然后将其自身减去以显示梯度的快速变化: 在图像中出现噪波之前,此操作非常有效: 经过一

我有一个问题,在忽略噪声和伪影的情况下,我试图在深度贴图中找到梯度的变化。我用它来检测可行驶路面上的“脱落”,这些脱落主要出现在路缘上。在彩色图像中很难检测到这些边,因为路缘两侧可能具有相同的曲面,并且路缘样式、颜色和方向在不同位置之间可能会有很大差异:

因此,决定使用深度图

虽然深度的变化可以用一个相当简单的算法来完成,但忽略(或至少识别)噪声和伪影确实很难做到。我目前的方法是简单地将图像移动几个像素,然后将其自身减去以显示梯度的快速变化:

在图像中出现噪波之前,此操作非常有效:

经过一些研究,我认为最可靠的检测方法是使用卷积神经网络(CNN)。我在过去对这些方面有一些经验,但这似乎是一个相当独特的问题,因为这既不是完全分割也不是分类。输出的目标非常小,并且一致地标记图像非常困难:

我的问题是(如果太宽泛,请允许我澄清):什么样的标签系统/网络可用于此类任务?我假设这是神经网络的工作,对吗

使用Nvidia数字和Caffe,到目前为止,我已经尝试了这些网络(运气不佳):

对于我的标签技术,我尝试了两种不同的方法:

输出边缘分割(与输入大小相同)

输出网格分类(32x18网格,如果包含任何边,则填充)


在这两种情况下,产生的输出大多是胡言乱语,损失是巨大的

根据新的信息,我有以下建议。两者都涉及机器学习。考虑到现实世界的复杂性,我相信在这些情况下,仅使用启发式方法来检测线是很困难的

如果您有足够的数据: 我认为您应该直接将其作为基于深度学习的对象检测问题。正如您自己所指出的,“这些边在彩色图像中可能很难检测到,因为路缘的两侧可能具有相同的曲面,并且路缘样式、颜色和方向在不同位置之间可能会有很大差异”。深度贴图是一个有用的功能,但深度网络将学习深度,以及您指示的所有其他上下文线索。在深度贴图上使用深度网络将不那么有效,因为输入已经是低维特征(与RGB图像相反)。是检测车道的一个示例

如果您没有足够的数据: 提取特征,例如深度、边的方向以及您认为可能有用的任何其他特征。使用诸如支持向量机或随机林之类的算法根据这些特征对线条进行分类


编辑前的旧答案: 您希望解决的最终应用程序是什么?“在忽略噪声和伪影的情况下尝试在深度贴图中查找渐变的变化”这句话有点含糊不清,因为图像左侧有几个渐变的变化,我不确定您是否关心这些变化

这看起来有点像自动驾驶数据集。如果您的目标是检测(比如)车道线或道路边界,那么尝试直接检测可能比尝试估计深度更容易

如果没有,请让我们知道(尽可能多/允许)最终目标是什么,因为从一个应用程序到下一个应用程序,“噪音”是主观的