Java 如何在ANTLR 3中处理字符串文本中的转义序列?
我一直在浏览ANTLR v3文档(以及我可靠的“最终ANTLR参考”)但似乎找不到一种干净的方法来实现字符串文本中的转义序列(我目前正在使用Java目标)。我曾希望能够做到以下几点:Java 如何在ANTLR 3中处理字符串文本中的转义序列?,java,string,antlr,escaping,Java,String,Antlr,Escaping,我一直在浏览ANTLR v3文档(以及我可靠的“最终ANTLR参考”)但似乎找不到一种干净的方法来实现字符串文本中的转义序列(我目前正在使用Java目标)。我曾希望能够做到以下几点: fragment ESCAPE_SEQUENCE : '\\' '\'' { setText("'"); } ; STRING : '\'' (ESCAPE_SEQUENCE | ~('\'' | '\\'))* '\'' { // strip the
fragment
ESCAPE_SEQUENCE
: '\\' '\'' { setText("'"); }
;
STRING
: '\'' (ESCAPE_SEQUENCE | ~('\'' | '\\'))* '\''
{
// strip the quotes from the resulting token
setText(getText().substring(1, getText().length() - 1));
}
;
例如,我希望输入标记“'Foo's House”
”成为字符串“Foo's House
”
不幸的是,ESCAPE\u序列中的setText(…)
调用为整个STRING
标记设置文本,这显然不是我想要的
有没有一种方法可以实现这种语法,而无需添加返回结果字符串并手动替换转义序列的方法(例如,在string
规则中使用类似setText(escapeString(getText()))
)
?以下是我在编写的JSON解析器中实现的方法
STRING
@init{StringBuilder lBuf = new StringBuilder();}
:
'"'
( escaped=ESC {lBuf.append(getText());} |
normal=~('"'|'\\'|'\n'|'\r') {lBuf.appendCodePoint(normal);} )*
'"'
{setText(lBuf.toString());}
;
fragment
ESC
: '\\'
( 'n' {setText("\n");}
| 'r' {setText("\r");}
| 't' {setText("\t");}
| 'b' {setText("\b");}
| 'f' {setText("\f");}
| '"' {setText("\"");}
| '\'' {setText("\'");}
| '/' {setText("/");}
| '\\' {setText("\\");}
| ('u')+ i=HEX_DIGIT j=HEX_DIGIT k=HEX_DIGIT l=HEX_DIGIT
{setText(ParserUtil.hexToChar(i.getText(),j.getText(),
k.getText(),l.getText()));}
)
;
我需要这样做,但我的目标是C而不是Java。以下是我根据答案#1(和评论)所做的,以防有人需要类似的东西:
QUOTE : '\'';
STR
@init{ pANTLR3_STRING unesc = GETTEXT()->factory->newRaw(GETTEXT()->factory); }
: QUOTE ( reg = ~('\\' | '\'') { unesc->addc(unesc, reg); }
| esc = ESCAPED { unesc->appendS(unesc, GETTEXT()); } )+ QUOTE { SETTEXT(unesc); };
fragment
ESCAPED : '\\'
( '\\' { SETTEXT(GETTEXT()->factory->newStr8(GETTEXT()->factory, (pANTLR3_UINT8)"\\")); }
| '\'' { SETTEXT(GETTEXT()->factory->newStr8(GETTEXT()->factory, (pANTLR3_UINT8)"\'")); }
)
;
HTH.另一种(可能更有效)的替代方法是使用规则参数:
STRING
@init { final StringBuilder buf = new StringBuilder(); }
:
'"'
(
ESCAPE[buf]
| i = ~( '\\' | '"' ) { buf.appendCodePoint(i); }
)*
'"'
{ setText(buf.toString()); };
fragment ESCAPE[StringBuilder buf] :
'\\'
( 't' { buf.append('\t'); }
| 'n' { buf.append('\n'); }
| 'r' { buf.append('\r'); }
| '"' { buf.append('\"'); }
| '\\' { buf.append('\\'); }
| 'u' a = HEX_DIGIT b = HEX_DIGIT c = HEX_DIGIT d = HEX_DIGIT { buf.append(ParserUtil.hexChar(a, b, c, d)); }
);
对于ANTLR4、Java目标和标准转义字符串语法,我使用了一个专用的单例类:CharSupport来翻译字符串。在antlr API中提供:
STRING : '"'
( ESC
| ~('"'|'\\'|'\n'|'\r')
)*
'"' {
setText(
org.antlr.v4.misc.CharSupport.getStringFromGrammarStringLiteral(
getText()
)
);
}
;
正如我在V4文档和实验中看到的那样,@init在lexer部件中不再受支持 我使用了这种方法,但请注意,我必须在每个步骤中附加“getText()”而不是“escape.getText()”。片段将未转换的文本写入整个字符串标记,getText()返回该标记。对我来说,escape.getText()返回原始片段,并保留反斜杠。在您的示例中,ESC的定义是什么?除了最终结果以大写形式转换外,这一切都很好。您知道如何修改语法以返回相同的大小写吗?