Machine learning 将用户反馈合并到ML模型中

我为一个分类（0/1）NLP任务开发了一个ML模型，并将其部署在生产环境中。模型的预测将显示给用户，用户可以选择提供反馈（如果预测正确/错误）

我怎样才能在我的模型中不断地加入这些反馈？从用户体验的角度来看，您不希望用户针对特定输入纠正/教导系统超过两次/三次，系统学习应快速，即反馈应“快速”。（Google priority inbox以无缝方式实现了这一点）

如何建立这个“反馈回路”，利用它我的系统可以改进？我在网上搜索了很多，但找不到相关资料。任何指点都会大有帮助

请不要说通过包含新数据点从头开始重新训练模型。这肯定不是谷歌和facebook构建智能系统的方式

为了进一步解释我的问题，想想谷歌的垃圾邮件检测器或他们的优先收件箱，或者他们最近的“智能回复”功能。众所周知，他们有能力学习/合并（快速）用户提要

当它包含用户快速反馈时（即，用户必须在每个数据点上教授系统2-3次正确的输出atmost，并且系统开始为该数据点提供正确的输出），它还确保保持旧的学习，并且不会在旧的数据点上开始提供错误的输出（之前它给出了正确的输出）同时结合从新数据点学习。

我没有发现任何博客/文献/讨论w.r.t如何构建这样的系统——一个详细解释ML系统中“反馈回路”的智能系统

希望我的问题现在更清楚一点

更新：我发现的一些相关问题有：

---

更新：我仍然没有一个具体的答案，但这样的方法确实存在。请阅读以下博客中的“从反馈中学习”一节。在这篇文章中，Jean谈到了“向机器添加反馈摄取循环”。在这里也一样。

构建一个简单、轻巧的模型这可以根据反馈进行更新。在线机器学习为此提供了许多候选

大多数好的在线分类器都是线性的。在这种情况下，我们可以有两个分类器，通过一个小的浅层神经网络将它们组合起来，实现非线性

---

有两种方法可以做到这一点：

(一)您可以将从用户那里得到的反馈结合起来，只训练模型的最后一层，保持所有其他层的权重不变。例如，直观地说，在CNN的情况下，这意味着您使用模型提取特征，但稍微调整分类器以考虑特定用户的特性

---

2） 另一种方法是建立一个全局模型（在您的大型培训集上进行培训）还有一个简单的逻辑回归，它是用户特定的。对于最终预测，您可以将两个预测的结果结合起来。请参见谷歌的“优先级收件箱”中他们是如何进行预测的。

这取决于您是如何得出输出模型的。如果您使用随机梯度下降或其他类似的增量训练，则新数据将INT可以被添加到更多的迭代中。@Mai：我对我的问题做了更多的解释。请阅读粗体部分，但您没有描述如何训练您的模型…

DeepLearning的使用

可能不是对模型训练过程的描述……我遗漏了什么吗？@Mai：很公平。这是使用LSTM（无状态）使用在dataset vocab上训练的单词嵌入来初始化嵌入层的权重。loss='binary\u crossentropy'，optimizer='adam'您可以在这里找到完整的代码，这是一篇著名的论文。希望对您有所帮助。