Neural network 何时重置彩票假设算法以找到初始化?

Neural network 何时重置彩票假设算法以找到初始化?,neural-network,Neural Network,根据本文,有两种剪枝策略,一次剪枝和迭代剪枝。第2页解释了这两种情况。找到一次修剪的初始化很容易,因为我们训练网络进行j迭代,然后使用获得的掩码将权重重置为初始化。我不理解的是迭代修剪。在第2页,它说: 我们专注于迭代修剪,它反复地训练、修剪和修改 通过n轮重置网络 通过n轮重置网络是什么意思?这是否意味着,在每一轮修剪时,我们都会使用获得的当前修剪级别的掩码将网络权重重置为初始化值?或者,这意味着,我们迭代地训练和修剪网络,而不重置为初始化,然后在n修剪级别之后,我们将使用我们拥有的最后一个掩

根据本文,有两种剪枝策略,一次剪枝和迭代剪枝。第2页解释了这两种情况。找到一次修剪的初始化很容易,因为我们训练网络进行
j
迭代,然后使用获得的掩码将权重重置为初始化。我不理解的是迭代修剪。在第2页,它说:

我们专注于迭代修剪,它反复地训练、修剪和修改 通过n轮重置网络


通过n轮重置网络是什么意思?这是否意味着,在每一轮修剪时,我们都会使用获得的当前修剪级别的掩码将网络权重重置为初始化值?或者,这意味着,我们迭代地训练和修剪网络,而不重置为初始化,然后在
n
修剪级别之后,我们将使用我们拥有的最后一个掩码重置为初始化?

每次将权重重置为初始值

彩票假设依赖于初始权重保持不变。如果更改起始权重,则屏蔽子网络不再有效。因此,每次都必须重置它们

作者通过实验证明了这一点,并在第5页进行了总结

该实验支持彩票假设“强调初始化: 原始初始化经受住了修剪并从中受益,而随机重新初始化的性能立即受到影响并稳步下降