Neural network 美国有线电视新闻网的雷卢和辍学

我在学习卷积神经网络。我对CNN的某些层面感到困惑

关于ReLu。。。我只知道它是一个无限逻辑函数的和，但ReLu不连接到任何上层。为什么我们需要ReLu，它是如何工作的

关于辍学。。。辍学是怎么回事？我听了G.辛顿的视频演讲。他说有一种策略，在训练权重时随机忽略一半的节点，在预测时忽略一半的节点。他说，它的灵感来自随机森林，其工作原理与计算这些随机训练模型的几何平均数完全相同

这个策略和辍学一样吗

有人能帮我解决这个问题吗？

ReLu: 整流函数是一个激活函数f（x）=Max（0，x），神经元可以像任何其他激活函数一样使用它，使用整流激活函数的节点称为ReLu节点。使用它的主要原因是，与更传统的激活函数（如S形和双曲正切）相比，它的计算效率有多高，而对推广精度没有显著影响。整流器激活函数用于代替线性激活函数，以向网络添加非线性，否则网络将只能计算线性函数

辍学：

---

是的，所描述的技术与辍学相同。随机忽略节点之所以有用，是因为它可以防止节点之间出现相互依赖关系（即节点不学习依赖于另一节点输入值的函数），这使得网络能够学习更多更稳健的关系。实施辍学的影响与从网络委员会获得平均数的影响大致相同，但所需的时间和存储成本都大大降低。

一个非常好的资源是by。它介绍并详细介绍了这两个主题。@deltheil很抱歉，我在你链接的论文中找不到任何关于辍学的内容。在文档中搜索“dropout”会返回三个实例，所有三个都只是提到这里使用了dropout。您是否有一个页面nr，其中有详细的退出信息？我已经通读过了，但还没有找到关于辍学者的东西。是不是可以连接到上层？我为imagenet任务检查了AlexNet的体系结构。看起来ReLu是一个独立的层。如果是这样，它不会将值传递给上层。为什么我们需要这个“无关”层？ReLu只是一个实现整流激活函数max（0，n）的单个神经元，而不是一个全新的层。尽管报告没有具体说明细节，但它看起来似乎在网络中的每个神经元上都使用了这个激活函数，包括卷积层和完全连接层。ReLu函数看起来仍然是线性的。它能像乙状结肠一样解决问题吗？