Neural network 最大池与零填充:丢失空间信息

Neural network 最大池与零填充:丢失空间信息,neural-network,convolution,conv-neural-network,downsampling,Neural Network,Convolution,Conv Neural Network,Downsampling,当涉及到卷积神经网络时,通常有许多论文推荐不同的策略。我听人说,在进行卷积之前,绝对必须在图像中添加填充,否则会丢失大量空间信息。另一方面,他们乐于使用池(通常是最大池)来减小图像的大小。我猜这里的想法是,最大池减少了空间信息,但也降低了对相对位置的敏感性,所以这是一种权衡 我听其他人说过,零填充并不能保存更多的信息,只能保存更多的空数据。这是因为当部分信息丢失时,通过添加零,内核不会做出任何反应 我可以想象,如果你有一个边缘有“废弃值”的大内核,而激活源集中在内核的一个较小的区域,零填充是可行

当涉及到卷积神经网络时,通常有许多论文推荐不同的策略。我听人说,在进行卷积之前,绝对必须在图像中添加填充,否则会丢失大量空间信息。另一方面,他们乐于使用池(通常是最大池)来减小图像的大小。我猜这里的想法是,最大池减少了空间信息,但也降低了对相对位置的敏感性,所以这是一种权衡

我听其他人说过,零填充并不能保存更多的信息,只能保存更多的空数据。这是因为当部分信息丢失时,通过添加零,内核不会做出任何反应

我可以想象,如果你有一个边缘有“废弃值”的大内核,而激活源集中在内核的一个较小的区域,零填充是可行的

我很乐意阅读一些关于使用池对消而不使用填充的降采样效果的文章,但我找不到太多关于它的内容。有什么好的建议或想法吗?

图:使用卷积反向池(Researchgate)的空间下采样添加填充并非“绝对必须”。有时,控制输出的大小是有用的,这样就不会因为卷积而减少输出(它还可以根据输出的大小和内核大小增加输出)。零填充添加的唯一信息是特征边界(或接近边界)的条件-输入限制内的像素,也取决于内核大小。(您可以将其视为相框中的“passe partout”)


在convnet中,池更为重要。共享并不完全是“下采样”,也不完全是“丢失空间信息”。首先考虑内核计算是在汇集之前用全空间信息进行的。池减少了维度,但希望保留内核以前学习到的信息。通过这样做,实现了关于convnet最有趣的事情之一;对输入位移、旋转或失真的鲁棒性。不变性,如果学会了,即使它出现在另一个位置或扭曲也会被定位。它还意味着通过增加规模进行学习,再次发现——希望如此——不同规模的分层模式。当然,在convnet中也是必要的,池使计算成为可能,因为层数增加

我也为这个问题烦恼了一段时间,我也看到一些报纸提到了同样的问题。这是我最近发现的一篇论文。我还没有完全读过这篇论文,但它似乎对你的问题感到困扰。一旦我完全掌握了论文,我就可以更新这个答案。

我投票将这个问题作为离题题题结束,因为这是一个机器学习理论(不是编程)问题,因此可能属于或。看看这个答案。这给出了非常令人信服的解释。