C++ Pygment lexer多个令牌
我正在使用Pygments的lexer,一个Python插件。我想获取C++代码的令牌,特别是当声明一个新变量时,例如C++ Pygment lexer多个令牌,c++,lexer,pygments,C++,Lexer,Pygments,我正在使用Pygments的lexer,一个Python插件。我想获取C++代码的令牌,特别是当声明一个新变量时,例如 int a=3,b=5,c=4; 这里,a、b、c应该被赋予“声明变量”类型,这与 a=3,b=5,c=4; 在这里,a、b、c应该被简单地指定为“变量”类型,因为它们以前已经声明过 我想使用lexer的功能一次扫描多个令牌(),我想沿着 (int)(\s)(?:([a-z]+)(=)([0-9]+)(,))*, bygroups(Type,Space,Name,Equal
int a=3,b=5,c=4;
这里,a、b、c应该被赋予“声明变量”类型,这与
a=3,b=5,c=4;
在这里,a、b、c应该被简单地指定为“变量”类型,因为它们以前已经声明过
我想使用lexer的功能一次扫描多个令牌(),我想沿着
(int)(\s)(?:([a-z]+)(=)([0-9]+)(,))*, bygroups(Type,Space,Name,Equal,Number,Comma)
(“?:”只是告诉Pygments不应在bygroups中使用此分组。)
但是,它不匹配行中任意数量的声明,只返回行中最后一个声明的标记(在本例中为“c=4”部分)。如何使它返回行中所有声明的标记?您需要的是一个有状态的lexer。您的regexp无法运行的原因 工作是因为团队不是连续的
int a=3,b=5,c=4;
这里您希望字符0..2为类型,3..3为空格,4..7为名称,相等
数字和逗号,然后是名称、相等、数字和逗号。那不是
好
解决方法是记住何时看到类型声明,
输入一个新的lexer模式,该模式将持续到下一个分号。看见
在pygments文档中
下面是一个使用CFamilyLexer并添加三个新lexer的解决方案
国家。所以当它在函数中看到这样一行时
声明:
首先,它消耗:
int
它与我添加的新规则匹配,因此它进入vardecl
状态:
m
哦,一个变量的名称!由于lexer处于vardecl
状态,
这是一个新定义的变量。将其作为NameDecl
标记发出。然后
输入varvalue
状态
3
x =
只是一个数字
*
只是个接线员
a
哦,一个变量的名称!但是现在我们处于varvalue
状态,所以
不是变量声明,只是常规变量引用
+ b
,
一个运算符和另一个变量引用
+ b
,
变量m
的值已完全声明。返回到vardecl
状态
3
x =
新变量声明
/* comments ; everywhere */
另一个状态被推送到堆栈上。在注释中,标记将
否则具有重要意义,如代码>被忽略
a * a
x
变量的值
;
返回到功能
状态。特殊变量声明规则
完成了
from pygments import highlight
from pygments.formatters import HtmlFormatter, TerminalFormatter
from pygments.formatters.terminal import TERMINAL_COLORS
from pygments.lexer import inherit
from pygments.lexers.compiled import CFamilyLexer
from pygments.token import *
# New token type for variable declarations. Red makes them stand out
# on the console.
NameDecl = Token.NameDecl
STANDARD_TYPES[NameDecl] = 'ndec'
TERMINAL_COLORS[NameDecl] = ('red', 'red')
class CDeclLexer(CFamilyLexer):
tokens = {
# Only touch variables declared inside functions.
'function': [
# The obvious fault that is hard to get around is that
# user-defined types won't be cathed by this regexp.
(r'(?<=\s)(bool|int|long|float|short|double|char|unsigned|signed|void|'
r'[a-z_][a-z0-9_]*_t)\b',
Keyword.Type, 'vardecl'),
inherit
],
'vardecl' : [
(r'\s+', Text),
# Comments
(r'/(\\\n)?[*](.|\n)*?[*](\\\n)?/', Comment.Multiline),
(r';', Punctuation, '#pop'),
(r'[~!%^&*+=|?:<>/-]', Operator),
# After the name of the variable has been tokenized enter
# a new mode for the value.
(r'[a-zA-Z_][a-zA-Z0-9_]*', NameDecl, 'varvalue'),
],
'varvalue' : [
(r'\s+', Text),
(r',', Punctuation, '#pop'),
(r';', Punctuation, '#pop:2'),
# Comments
(r'/(\\\n)?[*](.|\n)*?[*](\\\n)?/', Comment.Multiline),
(r'[~!%^&*+=|?:<>/-\[\]]', Operator),
(r'\d+[LlUu]*', Number.Integer),
# Rules for strings and chars.
(r'L?"', String, 'string'),
(r"L?'(\\.|\\[0-7]{1,3}|\\x[a-fA-F0-9]{1,2}|[^\\\'\n])'", String.Char),
(r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
# Getting arrays right is tricky.
(r'{', Punctuation, 'arrvalue'),
],
'arrvalue' : [
(r'\s+', Text),
(r'\d+[LlUu]*', Number.Integer),
(r'}', Punctuation, '#pop'),
(r'[~!%^&*+=|?:<>/-\[\]]', Operator),
(r',', Punctuation),
(r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
(r'{', Punctuation, '#push'),
]
}
code = '''
#include <stdio.h>
void main(int argc, char *argv[])
{
int vec_a, vec_b;
int a = 3, /* Mo;yo */ b=5, c=7;
int m = 3 * a + b, x = /* comments everywhere */ a * a;
char *myst = "hi;there";
char semi = ';';
time_t now = /* Null; */ NULL;
int arr[10] = {1, 2, 9 / c};
int foo[][2] = {{1, 2}};
a = b * 9;
c = 77;
d = (int) 99;
}
'''
for formatter in [TerminalFormatter, HtmlFormatter]:
print highlight(code, CDeclLexer(), formatter())
从pygments导入突出显示
从pygments.formatters导入HtmlFormatter、TerminalFormatter
从pygments.formatters.terminal导入终端颜色
从pygments.lexer导入继承
从pygments.lexers.compiled导入CFamilyLexer
从pygments.token导入*
#变量声明的新标记类型。红色使他们脱颖而出
#在控制台上。
NameDecl=Token.NameDecl
标准类型[NameDecl]=“ndec”
端子颜色[NameDecl]=(“红色”、“红色”)
类CDECLEXER(CFamilyLexer):
代币={
#仅在函数内声明触摸变量。
“功能”:[
#很难回避的一个明显的错误是
#用户定义的类型不会被此regexp覆盖。
(r’(?)?