Nlp 词预测:神经网络与n-gram方法

Nlp 词预测:神经网络与n-gram方法,nlp,neural-network,language-model,Nlp,Neural Network,Language Model,例如,如果我试图预测一个句子中的下一个单词,我可以使用双图方法,根据语料库中的前一个单词计算单词出现的概率 如果我用神经网络来预测下一个单词。训练数据由词对组成,每对词包含语料库中的当前词和下一个词。训练网络使用输入值作为单词的矢量化表示,输出值是语料库中下一个单词的矢量化表示 我希望神经网络能表现得更好,但我不知道为什么 什么时候使用神经网络比使用经典方法更好。在这种情况下,神经网络与n-gram模型是不同的。如果这个问题模棱两可,我道歉 也许答案是反复试验,然后检查哪个模型的性能更快,做出更

例如,如果我试图预测一个句子中的下一个单词,我可以使用双图方法,根据语料库中的前一个单词计算单词出现的概率

如果我用神经网络来预测下一个单词。训练数据由词对组成,每对词包含语料库中的当前词和下一个词。训练网络使用输入值作为单词的矢量化表示,输出值是语料库中下一个单词的矢量化表示

我希望神经网络能表现得更好,但我不知道为什么

什么时候使用神经网络比使用经典方法更好。在这种情况下,神经网络与n-gram模型是不同的。如果这个问题模棱两可,我道歉

也许答案是反复试验,然后检查哪个模型的性能更快,做出更好的预测


神经网络将表现得更好,因为预测只是向量乘法,而使用n-gram模型进行预测需要进行概率计算

您问题的答案取决于您掌握的具体数据。正如你所说,n-gram模型是基于观察每个可能的双图的概率计算的。这是一种非常有效的利用数据的方法,尤其是当您没有太多文本可供训练时。在小数据集上,N-gram模型可以轻松击败神经网络模型

神经网络有一些n-gram模型所没有的优势。他们可以利用较长的单词历史,假设使用递归神经网络。它们还可以在类似的n-gram中共享参数。

或?