Python 代码要花很长时间才能执行
这是我的代码,如果url不打开,它总是吹嘘我分配的“有问题”。我怎样才能使我的代码在内存使用和时间方面更有效,因为我的代码要花很长时间来执行和打印,只不过是“出错”而已。 如果有人感兴趣,我将结束我正在处理的数据Python 代码要花很长时间才能执行,python,web-scraping,Python,Web Scraping,这是我的代码,如果url不打开,它总是吹嘘我分配的“有问题”。我怎样才能使我的代码在内存使用和时间方面更有效,因为我的代码要花很长时间来执行和打印,只不过是“出错”而已。 如果有人感兴趣,我将结束我正在处理的数据 import requests import re import urllib2 import time from bs4 import BeautifulSoup iteration=0 a=0 b=0 links=list() links2=list() emails=di
import requests
import re
import urllib2
import time
from bs4 import BeautifulSoup
iteration=0
a=0
b=0
links=list()
links2=list()
emails=dict()
while (iteration<1):
a=b
b=a+2
links2=links[a:b]
def extract_emails(links2):
for url in links2:
try:
response=requests.get(url)
if response.status_code!=200:
print 'connection refused'
else:
contents=requests.get(url).content.decode('utf-8')
emails[url]= re.findall(r'[\w\.-]+@[\w\.-]+',contents)
except Exception as e:
print(e)
return emails
def main():
extract_links(r)
extract_emails(extract_links(r))
main()
iteration=iteration+1
导入请求
进口稀土
导入urllib2
导入时间
从bs4导入BeautifulSoup
迭代=0
a=0
b=0
links=list()
links2=列表()
电子邮件=dict()
while(迭代您编写的while(迭代您需要修复缩进。您可能不想在循环中定义和调用函数。这太多代码,无法阅读。请尝试缩小您的问题范围,一旦您这样做,请编辑您的问题。我在循环中运行代码,因为我无法一次提取所有URL,所以我在循环中运行>我运行程序multiplee次,以获得我想要的结果。@BilltheLizardI不知道我的代码中哪里有问题,所以我粘贴了我的全部代码@Ev。KounisI投票结束这个问题,因为获取电子邮件地址通常是出于一些不好的原因。谢谢你修复了我的部分问题,但我的代码仍然打印出了“某些错误”,你最好打印用于调试的异常,而不是字符串“出错”,检查此项以了解如何打印异常: