Parsing 有没有可能有一个语法中的“a”;关键词";也可以被视为一个;非关键字";?

Parsing 有没有可能有一个语法中的“a”;关键词";也可以被视为一个;非关键字";?,parsing,antlr,grammar,antlrworks,Parsing,Antlr,Grammar,Antlrworks,我在ANTLRWorks 1.4中有以下语法。我正在考虑在文本冒险游戏创建者中实现解析器的想法,用户将在其中为他的游戏指定各种允许的命令 grammar test; parse : cmd EOF; cmd : putSyn1 gameObject inSyn1 gameObject; putSyn1 : Put | Place | Drop ; inSyn1 : In | Into | Within; gameObje

我在ANTLRWorks 1.4中有以下语法。我正在考虑在文本冒险游戏创建者中实现解析器的想法,用户将在其中为他的游戏指定各种允许的命令

grammar test;

parse       :   cmd EOF;


cmd         :   putSyn1 gameObject inSyn1 gameObject;

putSyn1     :   Put | Place | Drop ;

inSyn1      :   In | Into | Within;


gameObject  :   det obj;

det         :   The | A | An | ;

obj          :  Word obj | Word;


Space       :       (' ' | '\t' | '\r' | '\n'){$channel=HIDDEN;};
Put         :   'put';
Place       :   'place';
Drop        :   'drop';
In          :   'in';
Into        :   'into';
Within      :   'within';
The         :   'the';
A           :   'a';
An          :   'an';

Word        :   ('a'..'z' | 'A'..'Z')+;
我只是对其中涉及的各种微妙之处有了感觉(就像我做的那样)

这一次,使用ANTLR,我想知道是否可以解析输入,例如:

put wood in fire place
也就是说,“木头”和“火之地”是上面的游戏对象。然而,“地点”也是“放置”的同义词。因此,这同样有效:

place wood in fire place
在尝试解析最后一个“place”标记时,ANTLR给了我一个NoViableAltException。我想把“火场”认作一个游戏对象

那么这种事情在ANTLR中可能发生吗?语法上可能吗

另一方面,我正在开发一个手动实现,它使用了一个奇怪的自定义数据结构,其中包含一些NFA、Dictionary等。但我仍然需要更多的时间,必须牺牲一些脑细胞来设计所需的搜索和插入算法


但是如果这在ANTLR中是可能的,我可以使用生成的C#file,yah?

我会用lexer而不是解析器来处理类似的事情——让lexer执行“最大咀嚼”,这样它就可以将“fire place”识别为单个标记,并且只有在“place”前面没有“fire”的情况下才将其识别为单独的标记


这样,解析器就不必注意到输入中的相同字符序列恰好构成两个完全不同的标记的全部或部分。

当然。PL/1以没有任何保留字而闻名,例如,您可以将关键字(例如,IF)用作变量名,而不需要将其用作关键字:

 IF  IF = 1  THEN  ELSE=3;  ELSE END=4;
构建这样做的解析器比较困难。您不能在lexer中“简单地”执行此操作,因为它不知道标识符是否是关键字的上下文

有几种解决办法。找到类似标识符的实体时:

1) 让词法分析器询问解析器,“您现在想要一个关键字吗?”。在这种情况下,生成一个关键字。让解析器在这里协作可能很困难。也可能是解析器不知道,因为它必须看到更多的输入来决定。考虑FORTRAN的著名格式声明:

     FORMAT ( A1, I2, ... ) X
当你看到单词“FORMAT”时,你无法判断它是关键字还是标识符;您必须向前扫描任意远的距离才能检查X。如果X不是语句的结尾,则格式字是数组标识符的名称;若X是语句的结尾,它是一个格式关键字和语句

2) 发出关键字(如果标识符与关键字匹配)和标识符,并让解析器同时尝试这两种方法。大多数解析器都不能很好地处理这个问题,但是如果设计合理的话,它们可以从容地处理这个问题。这通过推进解析器的前瞻功能来处理格式问题。(ANTLR不是GLR。我们的语法分析器就是这样一个GLR解析器,我们经常使用这个技巧)


3) 将所有类似标识符的内容放入哈希表中。使用递归下降解析器(ANTLR就是其中之一);当解析器需要一个关键字时,它只需检查它得到的标识符,以验证它是它所需要的关键字。如果它不需要关键字,它只使用标识符作为标识符。我不知道如何使用ANTLR实现这个技巧,因为我没有使用它。这不能很好地处理“没有前瞻就无法做出决定”的情况

也许你的例子只是一个例子,但是,特别是这一个,你可以使用“壁炉”(一个单词)而不是“火场”。好吧,这是一个文本冒险创作者,我希望允许用户在他创建的房间里有多个单词的游戏对象。我需要考虑一下。目前(没有从ANTLR的角度进行思考),我的目标是只识别命令语法,例如“put GO in GO”,并允许GO成为任何东西。然后,每次围棋都将与房间中的物体相匹配。也就是说,实际游戏对象的名称将不会出现在语法文件中。谢谢您的回答。选项2)是我的手动实现尝试中发生的事情。