Java 具有前瞻性的Lucene标记器

Java 具有前瞻性的Lucene标记器,java,lucene,tokenize,lookahead,Java,Lucene,Tokenize,Lookahead,有谁能为我指出实现具有前瞻性的Lucene标记器的正确方向吗 我正在使用雪球词干分析器,我希望能够获取城市名称的短语,并防止它们被词干,这样“洛杉矶”将被设置为单个标记,而不是两个标记“洛杉矶”和“洛杉矶” 我还需要保留与任何城市名称不匹配的令牌作为单个单词 有什么想法吗 TIA是我写的东西的要点,它可以满足您的需要。非常好,我将它移植到Java,它的工作方式非常有魅力!谢谢:)

有谁能为我指出实现具有前瞻性的Lucene标记器的正确方向吗

我正在使用雪球词干分析器,我希望能够获取城市名称的短语,并防止它们被词干,这样“洛杉矶”将被设置为单个标记,而不是两个标记“洛杉矶”和“洛杉矶”

我还需要保留与任何城市名称不匹配的令牌作为单个单词

有什么想法吗

TIA是我写的东西的要点,它可以满足您的需要。

非常好,我将它移植到Java,它的工作方式非常有魅力!谢谢:)