严重正则表达式挂起时间python
我有一个小的（40mb）服务器日志，链接 我有一个正则表达式，我用它来解析代码，这需要花费难以置信的时间（5分钟以上）。我对regex比较陌生，所以我不确定为什么这么小的文件需要这么长时间 下面是一个表达式：严重正则表达式挂起时间python,python,regex,Python,Regex,我有一个小的（40mb）服务器日志，链接 我有一个正则表达式，我用它来解析代码，这需要花费难以置信的时间（5分钟以上）。我对regex比较陌生，所以我不确定为什么这么小的文件需要这么长时间 下面是一个表达式： valid=re.findall(r'(\d+/[a-zA-Z]+/\d+).*?(GET|POST)\s+(http://|https//)([a-zA-Z]+.+?)\.[^/].*?\.([a-zA-Z]+)(/|\s|:).*?\s200\s', line) 当我在这行末尾加上“
valid=re.findall(r'(\d+/[a-zA-Z]+/\d+).*?(GET|POST)\s+(http://|https//)([a-zA-Z]+.+?)\.[^/].*?\.([a-zA-Z]+)(/|\s|:).*?\s200\s', line)
import re
#todo
#specify toplevel domain lookback
######
fhandle=open("access_log.txt", "rU")
access_log=fhandle.readlines()
validfile=open("valid3.txt", "w")
invalidfile=open("invalid3.txt", "w")
valid_dict=dict()
invalid_list=list()
valid_list=list()
#part 1
#read file. apply regex and append into internal data structure (a 2d dictionary)
for line in access_log:
valid=re.findall(r'(\d+/[a-zA-Z]+/\d+).*?(GET|POST)\s+(http://|https//)([a-zA-Z]+.+?)\.[^/].*?\.([a-zA-Z]+)(/|\s|:).*?\s200\s', line)
#valid=re.findall(r'(\d+/[a-zA-Z]+/\d+).*?(GET|POST)\s+(http://|https://)([a-zA-Z]+.+?)\.[^/].*?\.([a-zA-Z]+)(/|\s|:).*?\s+200\s', line)
if valid:
date=valid[0][0]
domain=valid[0][4].lower()
valid_list.append(line)
#writes results into 2d dcitonary (dictionary of dictonaries)
if date not in valid_dict:
valid_dict[date]={}
else:
if domain in valid_dict[date]:
valid_dict[date][domain]+=1
else:
valid_dict[date][domain]=1
#writes remainder files into invalid file log
else:
invalid_list.append(line)
#step 2
#format output file for tsv
#ordered chronologically, with Key:Value pairs orgainzed alphabeticallv by key (Domain Name)
date_workspace=''
domain_workspace=''
for date in sorted(valid_dict.iterkeys()):
date_workspace+=date + "\t"
for domain_name in sorted(valid_dict[date].iterkeys()):
domain_workspace+="%s:%s\t" % (domain_name, valid_dict[date][domain_name])
date_workspace+=domain_workspace
date_workspace+="\n"
domain_workspace=''
# Step 3
# write output
validfile.write(date_workspace)
for line in invalid_list:
invalidfile.write(line)
fhandle.close()
validfile.close()
invalidfile.close()
假设您希望保留域名扩展名，您可以如下更改代码的regex部分：
pattern = re.compile(r'^[^[]+\[(\d+/[a-zA-Z]+/\d+)[^]]+] "(?:GET|POST) https?://[a-zA-Z]+[^?/\s]*\.([a-zA-Z]+)[?/ :][^"]*" 200 ')
for line in access_log:
valid=pattern.search(line)
if valid:
date=valid.group(1)
domain=valid.group(2).lower()
valid_list.append(line)
re.searchre.findall^[^[]+\[[[*？- 惰性量词必须测试以下子模式是否与每个字符匹配
- 如果模式稍后失败，因为
可以匹配所有字符，正则表达式引擎没有任何理由停止回溯。换句话说，最好的方法是尽可能明确*？
*？（？：…）（http://https://）=>https？：//（//\s:）=>[？/：]\s+作为旁白，我确信有很多python日志解析器/分析器可以帮助您。还要注意，您的日志文件使用csv格式。这通常是由于嵌套的
+**？*？date\u workspace/.+？//[^/]+/