Regex/Python3-re.findall()-查找操作码之间的所有匹配项 背景
我正在反向工程一个TCP流,它使用类型长度值方法来编码数据 示例:Regex/Python3-re.findall()-查找操作码之间的所有匹配项 背景,regex,python-3.x,tlv,Regex,Python 3.x,Tlv,我正在反向工程一个TCP流,它使用类型长度值方法来编码数据 示例: TCP Payload: b'0000001f001270622e416374696f6e4e6f74696679425243080310840718880e20901c' --------------------------------------------------------------------------------------- Type: 00 00 # New function call Len
TCP Payload: b'0000001f001270622e416374696f6e4e6f74696679425243080310840718880e20901c'
---------------------------------------------------------------------------------------
Type: 00 00 # New function call
Length: 00 1f # Length of Value (Length of Function + Function + Data)
Value: 00 12 # Length of Function
Value: 70 62 2e 41 63 74 69 6f 6e 4e 6f 74 69 66 79 42 52 43 # Function ->(hex2ascii)-> pb.ActionNotifyBRC
Value: 08 03 10 84 07 18 88 0e 20 90 1c # Data
但是,数据是一个数据对象,可以包含多个数据长度可变的变量
Data: 08 05 10 04 10 64 18 c8 01 20 ef 0f
----------------------------------------------
Opcode : Value
08 : 05 # var1 : 1 byte
10 : 04 # var2 : 1 byte
18 : c8 01 # var3 : 1-10 bytes
20 : ef 0f # var4 : 1-10 bytes
目前,我正在使用以下Python3代码解析数据:
############################### NOTES ###############################
# Opcodes sometimes rotate starting positions but the general order is always held:
# Data: 20 ef 0f 08 05 10 04 10 64 18 c8 01
#####################################################################
import re
import binascii
def dataVariable(data, start, end):
p = re.compile(start + b'(.*?)' + end)
return p.findall(data + data)
data = bytearray.fromhex('08051004106418c80120ef0f')
var3 = dataVariable(data, b'\x18', b'\x20')
print("Variable 3:", end=' ')
for item in set(var3):
print(binascii.hexlify(item), end=' ')
----------------------------------------------------------------------------
[Output]: Variable 3: b'c801'
到目前为止一切都很好
问题
如果操作码出现在前面的变量值中,则该代码不再可靠
Data: 08 05 10 04 10 64 18 c8 20 01 20 ef 0f
----------------------------------------------
Opcode : Value
08 : 05
10 : 04
18 : c8 20 01 # The Value includes the next opcode (20)
20 : ef 0f
----------------------------------------------------------------------------
[Output]: Variable 3: b'c8'
[Output]: Variable 4: b'0120ef0f'
我期望的结果是:
[Output]: Variable 3: b'c8' b'c82001'
[Output]: Variable 4: b'0120ef0f' b'ef0f'
我的正则表达式似乎有问题
更新
为了进一步澄清,var3和var4表示整数。
我已经设法弄清楚了值的长度是如何被编码的。最高有效位被用作一个标志,通知我另一个字节即将到来。然后可以去掉每个字节的MSB,交换尾数并转换为十进制
data -> binary representation -> strip MSB and swap endianness -> decimal representation
ac d7 05 -> 10101100 11010111 00000101 -> 0001 01101011 10101100 -> 93100
e4 a6 04 -> 11100100 10100110 00000100 -> 0001 00010011 01100100 -> 70500
90 e1 02 -> 10010000 11100001 00000010 -> 10110000 10010000 -> 45200
dc 24 -> 11011100 00100100 -> 00010010 01011100 -> 4700
f0 60 -> 11110000 01100000 -> 00110000 01110000 -> 12400
你可以用
def dataVariable(data, start, end):
p = re.compile(b'(?=(' + start + b'.*' + end + b'))')
res = []
for x in p.findall(data):
cur = b''
for i, m in enumerate([x[i:i+1] for i in range(len(x))]):
if i == 0:
continue
if m == end and cur:
res.append(cur)
cur = cur + m
return res
见:
输出为字符串的变量3:b'c8'b'c82001'
,185618205720
输入的b'56182057'b'2057'b'5618'
模式为(?=(…)
类型,用于查找所有重叠的匹配项。如果不需要重叠功能,请从正则表达式中删除这些部分
这里的要点是:
- 将从
start
开始到最后一个end
的所有子字符串与start+b.*.+end
模式匹配
- 迭代匹配,删除第一个
开始
字节,并在找到结束
字节时将一项添加到结果列表中,在每次迭代时将找到的字节相加(从而获得匹配中的所有内部子字符串)
这些值是否可以重叠?类似于结果为[b'56182057',b'5618',b'2057']
的18 56 18 20 57 20
?这非常有效!谢谢你!我需要多读一些关于正则表达式的书,我没有太多的经验。今天在开车回家的路上,我想我忽略了一些重要的事情。为了进一步澄清,var3和var4表示整数。我已经知道如何解析这个->删除最重要的位并交换尾数,它也适用于两个补码。无论如何,我丢弃的MSB实际上是一个标志,让我知道另一个字节即将到来。这就是他们编码长度的方式。
data = bytearray.fromhex('08051004106418c8200120ef0f0f') # => b'c82001' b'c8'
#data = bytearray.fromhex('185618205720') # => b'56182057' b'2057' b'5618'
var3 = dataVariable(data, b'\x18', b'\x20')
print("Variable 3:", end=' ')
for item in set(var3):
print(binascii.hexlify(item), end=' ')