Lucene 使用JFlex/javacc为新的tokenstreamapi生成自定义标记器

Lucene 使用JFlex/javacc为新的tokenstreamapi生成自定义标记器,lucene,full-text-search,tokenize,Lucene,Full Text Search,Tokenize,我们目前正在使用Lucene 2.3.2,并希望迁移到3.4.0。我们有自己的自定义标记器,它是使用JavaCC生成的,自从我们开始使用Lucene以来就一直在使用,我们希望继续使用相同的行为。我很欣赏任何涉及从语法为新的tokenstreamapi构建标记器的资源 更新: 我在上找到了用于生成StandardTokenizer的语法。修改语法以适应我们的需求,并使用jflex生成java代码。我在上找到了用于生成标准令牌化器的语法。修改语法以适应我们的需求,并使用jflex生成java代码

我们目前正在使用Lucene 2.3.2,并希望迁移到3.4.0。我们有自己的自定义标记器,它是使用JavaCC生成的,自从我们开始使用Lucene以来就一直在使用,我们希望继续使用相同的行为。我很欣赏任何涉及从语法为新的tokenstreamapi构建标记器的资源

更新:


我在上找到了用于生成StandardTokenizer的语法。修改语法以适应我们的需求,并使用jflex生成java代码。我在上找到了用于生成标准令牌化器的语法。修改语法以适应我们的需求,并使用jflex生成java代码