Lucene 如何从文本语料库中提取语义相关性

目标是评估大型文本语料库中术语之间的语义关联性，例如，“警察”和“犯罪”应该比“警察”和“山”具有更强的语义关联性，因为它们往往同时出现在同一上下文中

我读过的最简单的方法是从语料库中提取信息

许多人使用潜在语义分析来寻找语义关联

我遇到了Lucene搜索引擎：

您认为提取IF-IDF合适吗

在技术和软件工具方面，你会推荐我做的事情吗

提前谢谢

---

Mulone是的，Lucene获得TF-IDF数据。该算法是基于Lucene的语义提取程序的一个示例。我提到它是因为，作为第一步，他们创建了一个相关矩阵。当然，您可能可以自己轻松构建此矩阵

---

如果你处理大量的数据，你可能想用Mahout来处理更难的线性代数部分。

如果你有lucene索引，这很容易。例如，要获得相关性，您可以使用简单公式count（term1和term2）/count（term1）*count（term2）。其中count是搜索结果中的点击数。此外，您还可以计算其他符号度量，如chi^2、信息增益。您只需从

Query