C# 使用反语进行解析时包含空格

C# 使用反语进行解析时包含空格,c#,grammar,abstract-syntax-tree,bnf,irony,C#,Grammar,Abstract Syntax Tree,Bnf,Irony,我正在使用以下库编写解析器: 我当前的目标是解析包含纯文本行的文件。每行以空格或制表符开头 这就是我的语法课的样子: NonTerminal program = new NonTerminal("program"); NonTerminal textStatement = new NonTerminal("textStatement"); NonTerminal textStatements = new NonTerminal("textSta

我正在使用以下库编写解析器:

我当前的目标是解析包含纯文本行的文件。每行以空格或制表符开头

这就是我的语法课的样子:

NonTerminal program = new NonTerminal("program");
NonTerminal textStatement = new NonTerminal("textStatement");
NonTerminal textStatements = new NonTerminal("textStatements");

FreeTextLiteral text = new FreeTextLiteral("text", "\r\n");

KeyTerm whitespace = ToTerm(" ", "whitespace");
KeyTerm tab = ToTerm("  ", "tab");
KeyTerm newline = ToTerm("\n", "newline");

textStatement.Rule = ((whitespace | tab) + text + newline);
textStatements.Rule = MakePlusRule(textStatements, textStatement);

program.Rule = textStatements;
this.Root = program;
这是目标文件的内容(不包括行):

令人惊讶的是,这件事在我身上失败了,并传达了以下信息:

Column 1, Line 0:
Syntax error, expected: whitespace, tab
看起来语法默认配置为跳过空白和制表符。因此,它从一个“t”字母开始解析,跳过了第一个“”符号。 这对于大多数情况都是好的,但对于这一种情况就不行了。我正在尝试编写一种类似python的语言,因此跟踪空白非常重要

我不希望你为我写完整的语法,只是建议一个通用的方法。感谢您的帮助,谢谢

UPD:我最终覆盖了如下两个函数:

    public override bool IsWhitespaceOrDelimiter(char ch)
    {
        if (ch == ' ' || ch == '\t')
            return false;
        return base.IsWhitespaceOrDelimiter(ch);
    }

    public override void SkipWhitespace(ISourceStream source)
    {
        while (!source.EOF())
        {
            switch (source.PreviewChar)
            {
                //case ' ':
                //case '\t':
                //    break;
                case '\r':
                case '\n':
                case '\v':
                    if (UsesNewLine) return;
                    break;
                default:
                    return;
            }
            source.PreviewPosition++;
        }
    }

如果要在语法中将“space”作为显式字符处理,则需要重写IsWhitespaceOrDelimiter方法,对于space,返回false。tab和其他字符也是如此

    public override bool IsWhitespaceOrDelimiter(char ch)
    {
        if (ch == ' ' || ch == '\t')
            return false;
        return base.IsWhitespaceOrDelimiter(ch);
    }

    public override void SkipWhitespace(ISourceStream source)
    {
        while (!source.EOF())
        {
            switch (source.PreviewChar)
            {
                //case ' ':
                //case '\t':
                //    break;
                case '\r':
                case '\n':
                case '\v':
                    if (UsesNewLine) return;
                    break;
                default:
                    return;
            }
            source.PreviewPosition++;
        }
    }