Nlp 插值权重

我当时在学习自然语言处理

我被视频卡住了

教授说：p’（Wn | Wn-1，Wn-2）=λ1*p（Wn | Wn-1，Wn-2）+λ2*p（Wn | Wn-1）+λ3*p（Wn）

然后他告诉我们：要设置lambda，您需要一组“保留”的数据，并找到最大化该数据集概率的lambda

这是否意味着你循环所有可能的数字（无穷大），然后找出其中哪一个最大化了概率

那是不可能的，对吧？那你怎么选择兰姆达斯呢。找到增加概率的lambda很容易，也很容易找到概率，但是选择lambda是一件大事

请帮我选择lambdas

---

提前谢谢你

这充其量只是一个半教育性的猜测，但看起来他所做的是使用之前对该函数的估计以及对p（Wn | Wn-1）和p（Wn）的估计，迭代地改进他的p（Wn | Wn-1，Wn-2）函数。他假设新函数是旧函数的加权和，这些λ值就是权重。这些权重之和必须为一

你的工作是找到最好的一组权重

解决这类问题，不是通过循环λ值（正如你正确的直觉所示），而是通过数学。如果不了解这些函数的结构，就很难说更多有用的东西

---

如果幸运的话，您可以找到一个相对简单的微积分表达式来实现这一点。如果你运气不好，这将是一个相对复杂的过程，可能涉及拉格朗日乘数法。它甚至可能没有一个明显的封闭形式的表达，导致各种爬山，期望最大化或其他技术。我真的说不上来

根据单词的重要性顺序设置权重，但要确保权重加起来等于1，因为概率不能大于1。

这可能是一个回归问题。给定训练集具有等式左右两侧的值，可以找到最佳λ优化。请注意，您正在参加coursera课程，如果您看一看“机器学习”课程，您将在“成本函数”课程中找到更多详细信息。