Forecasting 预测模型的性能分析

我刚刚开始研究预测方法，我想弄清楚绩效通常是如何衡量的。我的直觉是，样本外的性能是最重要的（您想看看您的模型在处理看不见的数据时表现如何）。我还注意到，如果样本外数据太大，预测性能不会很好（这是有意义的，您在未来走得越远，您的模型就越不可能表现良好）。因此，我想知道如何确定样本外数据的最佳大小以进行测试？

我认为，当你说“我还注意到，如果样本外数据太大，预测性能不会很好”时，你将预测范围与样本外数据混淆以测试预测性能。 当你做预测时，你通常对某个预测范围感兴趣。例如，如果您有一个月频率的时间序列，您可能会对一个月期限（短期预测）或12个月期限（长期预测）感兴趣。因此，预测性能通常随着预测时间的延长而恶化，而不是随着样本外数据的增多而恶化。 很难建议对模型进行测试的观测数量，因为这取决于您希望如何评估预测。如果您想使用一些正式的统计测试，那么您需要更多的观察，但是如果您对预测某个事件感兴趣，并且只对单个模型的性能感兴趣，那么您可以使用相对较少的样本外观察。 希望这有帮助，

---

保罗

这不取决于域名吗？我指的是您试图在典型使用场景中测试的现象类型（例如，天气、客户到达等）。当我为电网开发预测系统时，我们进行了短期（1-6小时）、中期（6-48小时）、长期（2-7天）和长期（7-14天）的具体测试，所有这些测试都符合不同的运营数据要求。根据谁将使用数据用于什么目的，每个预测等级都有不同的指标来衡量什么是“好的”。