Image processing 基于卷积神经网络的像素分类？

这个问题是概念性的。我基本了解MNIST示例的工作原理，前馈网络将图像作为输入，并输出预测的标签0到9

我正在做一个项目，理想情况下，它会以图像作为输入，对于图像上的每一个像素，我会输出该像素是否为某个标签的概率

例如，我的输入大小为600*800*3像素，输出大小为600*800，其中输出上的每个条目都是概率

如何使用卷积神经网络设计管道？我和Tensorflow一起工作。谢谢

---

阐述：

---

基本上，我想将每个像素标记为前景或背景（像素成为前景的概率）。我的直觉是，在卷积层中，神经元将能够在该像素周围的补丁中拾取信息，并最终能够判断该像素成为前景的可能性。

尽管这不是非常有效，但一种简单的方法可能是将像素的窗口（例如5px 5px）涂成黑色，记录每个输出类的概率，然后将窗口滑动一点，然后再次记录。这将重复，直到窗口通过整个图像

现在我们有一些有趣的信息。对于每个窗口位置，我们知道标签上概率分布的增量与分类器接收整个图像时的概率相比。该增量对应于该区域对分类器做出该决策所贡献的量

如果希望将其映射到每像素级别以实现可视化，则可以在滑动窗口时使用1像素的步长，并将概率增量映射到窗口的最中心像素

请注意，您不希望使窗口太小，否则三角洲将太小而无法产生差异。此外，您可能希望在如何选择窗口颜色方面稍微聪明一点，这样窗口本身就不会成为分类器的特征

根据您的阐述进行编辑：

---

这对你想做的事情仍然有效。事实上，它甚至变得更好了。您可以对它们求和，而不是将所有标签概率增量分开。这将给你一个测量，它告诉你“这个区域使图像更像一个数字有多大程度”（或者换句话说，前景）。此外，您不会根据未覆盖的图像来测量delta，而是根据概率向量来测量，其中每个标签的P（x）=0。

虽然效率不高，但一种简单的方法可能是将像素窗口（例如，5px 5px）涂成黑色，记录每个输出类的概率，然后将窗口滑动一点，然后再录音。这将重复，直到窗口通过整个图像

现在我们有一些有趣的信息。对于每个窗口位置，我们知道标签上概率分布的增量与分类器接收整个图像时的概率相比。该增量对应于该区域对分类器做出该决策所贡献的量

如果希望将其映射到每像素级别以实现可视化，则可以在滑动窗口时使用1像素的步长，并将概率增量映射到窗口的最中心像素

请注意，您不希望使窗口太小，否则三角洲将太小而无法产生差异。此外，您可能希望在如何选择窗口颜色方面稍微聪明一点，这样窗口本身就不会成为分类器的特征

根据您的阐述进行编辑：

---

这对你想做的事情仍然有效。事实上，它甚至变得更好了。您可以对它们求和，而不是将所有标签概率增量分开。这将给你一个测量，它告诉你“这个区域使图像更像一个数字有多大程度”（或者换句话说，前景）。此外，您不会根据未覆盖的图像来测量delta，而是根据概率向量来测量，其中P（x）=0表示每个标签。

如何将单个像素分类为特定标签？你能再详细一点吗？可能是一组像素，但单个像素分类为一个标签很难可视化这基本上是语义分割，有关更多信息，请参阅“语义分割的完全卷积网络”一文。@LuisLeal我想将每个像素标记为前景或背景（像素成为前景的概率）。我的直觉是，在卷积层中，神经元将能够在该像素周围的一块区域中拾取信息，并最终能够判断该像素成为前景的可能性。@MatiasValdenegro谢谢，我将查看该文件如何将单个像素归类为某个标签？你能再详细说明一下吗？也许吧一组像素，但一个像素被分类为一个标签它很难可视化这基本上是语义分割，有关更多信息，请参阅“语义分割的完全卷积网络”一文。@LuisLeal我想将每个像素标记为前景或背景（像素成为前景的概率）。我的直觉是，在卷积层中，神经元将能够在该像素周围的一块区域中拾取信息，并最终能够判断该像素成为前景的可能性。@MatiasValdenegro谢谢，我将查看该论文