Deployment 您如何评估已经在生产中部署的ML模型？ 因此，我们更清楚地考虑贷款违约预测问题。 比如说，我已经训练和测试了离线多分类器，并对它们进行了集成。然后我把这个模型交给了生产部门

但由于人的变化，数据和许多其他因素也会发生变化。我们模型的性能最终会下降。因此，它需要被新的、更好的模型所取代

部署后的常见技术、模型稳定性测试、模型性能测试和度量是什么？如何决定何时用新模型替换当前模型？

这取决于一个问题（分类、回归或聚类），假设您有一个分类问题，并且您学习并测试了一个精度为75%（或其他指标）的模型，一旦投入生产，如果精度明显低于75%，然后你可以停止你的模型，看看发生了什么

在我的例子中，我注意到模型的准确性，每天生产一次，持续一周，然后我计算精度的平均值和方差，并应用平均值的T检验，以查看该精度是否与期望的精度存在显著差异

希望这会有所帮助