Optimization 获取后续解算器结果

我有一个用于计算（近似）非线性函数参数的数据集

原始数据点在时间上分布，目前我的解算器能够计算出在给定时间段内为数据项建模函数的最佳参数集。随着我加入一个更大的数据集，函数近似的精度提高了。但是，同时，我不希望数据项太旧，无法在很大程度上影响函数近似。我现在计划使用在预定义时间窗口内的数据项。这个预定义的窗口将随着时间的推移而移动，合并新的数据项并丢弃旧的数据项。然而，要包含或排除数据元素，我必须从修改后的数据集开始处理，这是一个耗时且不适合实时操作的过程

---

我试图解决的问题是，如何在不必遍历整个原始数据集的情况下，将从附加数据项中学习的内容合并到近似函数中。最初的想法是根据子集中的总数据项与所有子集中的总数据项的比率，对从每个数据子集学习的函数参数进行加权。有人能想出更好的办法吗？对于任何可能的解决方案的提示，我们将不胜感激。

借鉴一些时间序列技术，一种简单的（启发式）方法是使用您的模型参数，计算新学到的参数（基于最近的数据）和旧参数的加权平均值（权重值必须使用某种交叉验证/回溯测试进行调整）。如果新数据中的信噪比不随时间发生显著变化，这通常效果很好

另一种方法是根据早期数据对模型参数施加“先验”惩罚——最简单的方法之一（不需要完全的贝叶斯学习）是向损失函数添加二次惩罚，该惩罚是对偏离旧参数值的惩罚（使用交叉验证/回溯测试调整惩罚系数）在构造惩罚时，应注意确保考虑旧模型参数的方差-协方差矩阵。这大致相当于基于旧模型参数施加高斯先验