Plugins 正常化后恢复原始文本/位置的插件

我们正在使用

ANNIE

插件“documentnormalizer”删除停止词和其他标点符号，之后我们调用gazetter来处理规范化文本，在最后一步中，我们需要一些插件来恢复每个

注释的原始文本/位置

我们如何才能做到这一点

谢谢
文档规范化器的设计目的不是删除单词，而是用另一个字符替换一个字符。
一个典型的例子是，标记器没有经过一些非ASCII标点的训练。
看

若要忽略停止词，应使用地名录对其进行注释。
然后，在Jape规则中，您可以使用类似{Token.category==NN，！Lookup.majorType==stop}的否定规则跳过它们

它将更加灵活，一些停止字仅在特定情况下相关，因此您可能希望使用其他停止字。
文档规范化器的设计目的不是删除字，而是将一个字符替换为另一个字符。
一个典型的例子是，标记器没有经过一些非ASCII标点的训练。
看

若要忽略停止词，应使用地名录对其进行注释。
然后，在Jape规则中，您可以使用类似{Token.category==NN，！Lookup.majorType==stop}的否定规则跳过它们

这将是一个更灵活的和一些停止词是相关的，只有在某些情况下，所以你可能希望有他们否则