Machine learning 为什么不进行部分时代的训练呢?

Machine learning 为什么不进行部分时代的训练呢?,machine-learning,deep-learning,Machine Learning,Deep Learning,似乎从来没有人在“10.5”时期运行他们的模型。这其中的理论原因是什么 对我来说,这有点直观,如果我有一套完全独特的训练样本,那么训练不足和过度训练之间的最佳膝关节点应该在完整的历次之间。然而,在大多数情况下,单个训练样本通常会以某种方式相似/相关 是否有可靠的基于统计的理由?或者,有人进行过实证调查吗?我质疑这样一个前提:在我工作的地方,我们通常会运行部分时间段,尽管大型数据集的范围更大:比如40.72个时间段 对于小数据集或短期训练,需要以相等的权重处理每个观察结果,因此很自然地认为需要对每

似乎从来没有人在“10.5”时期运行他们的模型。这其中的理论原因是什么

对我来说,这有点直观,如果我有一套完全独特的训练样本,那么训练不足和过度训练之间的最佳膝关节点应该在完整的历次之间。然而,在大多数情况下,单个训练样本通常会以某种方式相似/相关


是否有可靠的基于统计的理由?或者,有人进行过实证调查吗?

我质疑这样一个前提:在我工作的地方,我们通常会运行部分时间段,尽管大型数据集的范围更大:比如40.72个时间段

对于小数据集或短期训练,需要以相等的权重处理每个观察结果,因此很自然地认为需要对每个观察结果进行相同次数的处理。正如您所指出的,如果输入样本是相关的,那么这样做就不那么重要了

我认为一个基本原因是方便:整数更容易解释和讨论。
对于许多模型来说,最佳训练时没有膝盖:这是一条平缓的曲线,因此几乎可以肯定在准确度的“最佳点”内有整数个时代。因此,更方便的是发现10个纪元比11个纪元稍微好一点,即使最优点(在迭代计数差异很小的情况下发现多次训练)恰好是10.2个纪元。收益递减说,如果9-12个阶段给了我们非常相似的、好的结果,我们只需注意10是8-15个阶段中最好的表现,接受结果,然后继续生活。

您可以随时检查迭代并提前停止学习。在我看来,我看不出停止10.5或10.2来概括的意义。它完全超出了它在权重更新中更关注的时代的范围。理论上的原因是这样做会使模型产生偏差。@MatiasValdenegro你能扩展一下吗?该模型最终将如何产生偏见?你能告诉我一个这样说的消息来源吗,或者更好的消息来源:解释它?