Machine learning 成本复杂性修剪:修剪错误

Machine learning 成本复杂性修剪:修剪错误,machine-learning,pruning,Machine Learning,Pruning,有人能解释这两种说法吗 在代价复杂度剪枝中,剪枝后的树误差不能小于训练数据集上的原始树 在成本复杂度修剪中,修剪后的树错误永远不能小于验证数据集上的原始树 第一条语句是正确的,第二条语句是错误的。对于您选择的任何修剪策略,这都是正确的,前提是原始树的构造是将训练集中的错误最小化 True:修剪树错误永远不能小于训练数据集上的原始树 原始树尽可能具体,通过将子树替换为叶节点,只能得到不太具体的树。因此,训练数据中的误差可以保持不变,也可以增加,而不是减少 False:修剪树错误永远不能小于验证数据

有人能解释这两种说法吗

在代价复杂度剪枝中,剪枝后的树误差不能小于训练数据集上的原始树

在成本复杂度修剪中,修剪后的树错误永远不能小于验证数据集上的原始树


第一条语句是正确的,第二条语句是错误的。

对于您选择的任何修剪策略,这都是正确的,前提是原始树的构造是将训练集中的错误最小化

True:修剪树错误永远不能小于训练数据集上的原始树

原始树尽可能具体,通过将子树替换为叶节点,只能得到不太具体的树。因此,训练数据中的误差可以保持不变,也可以增加,而不是减少

False:修剪树错误永远不能小于验证数据集上的原始树

我们假设验证集未知且独立于训练数据集。所以,一般来说,你不能做任何这样的假设。修剪时,验证数据集上的错误可能会增加、保持不变或减少


但是,我们希望错误会减少,因为树对训练数据的特定性会降低,因此更可能与不同的数据集兼容。

感谢您的澄清。因为我的名声在15岁以下,所以我不能对此进行投票。