Utf 8 ANTLR grun（TestRig）标记选项无法识别非ASCII字符_Utf 8_Antlr4

Utf 8 ANTLR grun（TestRig）标记选项无法识别非ASCII字符

utf-8 antlr4

Utf 8 ANTLR grun（TestRig）标记选项无法识别非ASCII字符,utf-8,antlr4,Utf 8,Antlr4,我正在使用grun.bat（java org.antlr.v4.runtime.misc.TestRig%*） Antlr版本是4.5 在输入文本上运行grun.bat with-tokens选项将导致0个错误，但无法识别非ASCII字符，因此其标记为“？？” 将编码选项添加到grun.bat： java -Dfile.encoding=UTF-8 org.antlr.v4.runtime.misc.TestRig %* 导致每个非ASCII字符出现错误，例如第5行：1“ם”处的令牌识别错误

我正在使用grun.bat（java org.antlr.v4.runtime.misc.TestRig%*）

Antlr版本是4.5

在输入文本上运行grun.bat with-tokens选项将导致0个错误，但无法识别非ASCII字符，因此其标记为“？？”

将编码选项添加到grun.bat：

java -Dfile.encoding=UTF-8 org.antlr.v4.runtime.misc.TestRig %*

导致每个非ASCII字符出现错误，例如

第5行：1“ם”处的令牌识别错误

输入文本的非ASCII字符包含在utf-8中

如何在令牌中正确显示非ASCII字符