Artificial intelligence 支持向量机还是人工神经网络用于文本处理?

Artificial intelligence 支持向量机还是人工神经网络用于文本处理?,artificial-intelligence,machine-learning,neural-network,Artificial Intelligence,Machine Learning,Neural Network,对于一些文本处理项目,我们需要在支持向量机和快速人工神经网络之间做出选择 它包括上下文拼写更正,然后将文本标记为某些短语及其同义词 哪种方法是正确的?或者这两者都有替代品。。。一些比FANN和SVM更合适的方法?我认为这两种算法都会得到有竞争力的结果,所以你应该将结果聚合起来。。。想想集成学习 更新: 我不知道这是否足够具体:使用贝叶斯最优分类器来组合来自每个算法的预测。你必须训练两种算法,然后你必须训练贝叶斯最优分类器来使用你的算法,并根据算法的输入做出最优预测 将您的培训数据分为三部分:

对于一些文本处理项目,我们需要在支持向量机和快速人工神经网络之间做出选择

它包括上下文拼写更正,然后将文本标记为某些短语及其同义词


哪种方法是正确的?或者这两者都有替代品。。。一些比FANN和SVM更合适的方法?

我认为这两种算法都会得到有竞争力的结果,所以你应该将结果聚合起来。。。想想集成学习

更新:
我不知道这是否足够具体:使用贝叶斯最优分类器来组合来自每个算法的预测。你必须训练两种算法,然后你必须训练贝叶斯最优分类器来使用你的算法,并根据算法的输入做出最优预测

将您的培训数据分为三部分:

  • 第一个数据集将用于训练(人工)神经网络和支持向量机
  • 第二个数据集将用于通过从ANN和SVM获取原始预测来训练Bayes最优分类器
  • 第三个数据集将是您的鉴定数据集,您将在其中测试经过训练的贝叶斯最优分类器
更新2.0:
创建算法集合的另一种方法是使用:

  • 将数据分成10组大小为n/10的数据
  • 在9个数据集上进行训练,在1个数据集上进行测试
  • 重复10次,取平均准确度

请记住,通常可以将许多分类器和验证方法组合在一起,以产生更好的结果。这只是找到最适合您的领域的方法的问题。

您可能还想看看

它们在NLP问题上非常流行。现代实现使用拟牛顿法进行优化,而不是较慢的迭代缩放算法,其训练速度比支持向量机更快。它们似乎也是正则化超参数的精确值。如果您想使用内核免费获取功能连接,您可能只会更喜欢支持向量机而不是maxent


至于支持向量机与神经网络,使用支持向量机可能比使用人工神经网络更好。与maxent模型一样,支持向量机的训练也是一个凸优化问题。这意味着,给定数据集和特定分类器配置,支持向量机将始终找到相同的解决方案。当训练多层神经网络时,系统可以收敛到各种局部极小值。因此,根据用于初始化模型的权重,您将得到更好或更差的解决方案。使用ANN,您需要执行多次训练运行,以评估给定模型配置的好坏。

您可以使用卷积神经网络(CNN)或递归神经网络(RNN)来训练NLP。我认为CNN现在已经达到了最先进的水平

这个问题很老了。在过去的7年里,NLP地区发生了许多发展

并在这段时间内进化

词语嵌入:出现在相似语境中的词语具有相似的含义。单词嵌入是在任务中预先训练的,目标是根据上下文预测单词

美国有线电视新闻网NLP:

  • 首先将句子标记为单词,然后将单词进一步转换为d维的单词嵌入矩阵(即输入嵌入层)

  • 在该输入嵌入层上应用卷积滤波器来生成特征映射

  • 每个过滤器上的最大池操作可获得固定长度的输出,并降低输出的维数

  • 由于CNN没有保留远程上下文信息,因此引入了RNN

    RNN是一种专门的基于神经的方法,能够有效地处理序列信息

    RNN存储以前计算的结果,并在当前计算中使用

    RNN-长-短期记忆单元(LSTM)和门控循环单元(GRU)几乎没有变化

    请查看以下资源:


    你能帮我进一步了解一下到底要用什么吗?@Akrid我已经更新了我的评论。。。这有帮助吗?或者你需要更多的信息吗?虽然我喜欢哈尔的博客,但用MS Paint绘制的一幅图并不能真正证明逻辑回归对超参数选择的敏感性不如支持向量机。不过,回答得很好。