Machine learning 这是否可能在没有数据的旧网络的基础上训练新网络？

这是否可能在没有数据的情况下，基于已经训练过的网络来训练新的更小的网络？i、 e.新网络应尽量模仿第一个网络的行为

如果没有数据是不可能的，那么已经培训过的网络是否有任何好处？i、 据我所知，至少我们可以将其用于伪标记

更新：

我发现的最相关的论文是：

---

如果你没有使用任何数据，我认为你不能说你正在训练一个网络。但是你总是可以尝试得到一个较小的，例如，在最简单的情况下，通过修剪大型网络，这意味着移除l2范数接近于零的权重，关于这个主题有丰富的文献。此外，我认为您可能会发现一些知识提炼方面的工作很有用，例如，在本文中，它们使用了通常不可用的额外元数据。