Machine learning 校准概率分类器会让情况变得更糟吗？

随着scikit learn 0.16的发布和新的

CalibratedClassifiedRCV

，我想我应该在个人项目上尝试一下。当我这样做的时候，我使用的逻辑回归、随机森林和梯度增强树分类器的交叉验证日志损失实际上变得更严重。这有意义吗？我是否只需要更好地调整

校准的ClassifiedRCV

，还是使用它会使我的分类器更差

---

您能检查0.16.1吗？0.16.0的等渗回归存在不稳定性，0.16.1的情况稍差。可能是因为我用更少的数据来拟合原始模型吗？当我使用“利润”选项并在同一数据上拟合模型和校准器时，情况会更糟（实际上很糟糕），这是不是很奇怪（可能是一个bug的迹象）？不，在同一数据上拟合肯定会使情况更糟。为了让自己相信校准是有效的，您可以在培训集上进行校准，并在测试集上进行校准，这会有所帮助（显然，这些结果是无效的，因为您从测试集中泄漏了信息）。是的，可能会更糟，因为实际模型使用的训练数据更少。显然，当校准的折叠次数较低（这是默认值）时，性能可能会较低。