Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/318.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/react-native/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 代码要花很长时间才能执行_Python_Web Scraping - Fatal编程技术网

Python 代码要花很长时间才能执行

Python 代码要花很长时间才能执行,python,web-scraping,Python,Web Scraping,这是我的代码,如果url不打开,它总是吹嘘我分配的“有问题”。我怎样才能使我的代码在内存使用和时间方面更有效,因为我的代码要花很长时间来执行和打印,只不过是“出错”而已。 如果有人感兴趣,我将结束我正在处理的数据 import requests import re import urllib2 import time from bs4 import BeautifulSoup iteration=0 a=0 b=0 links=list() links2=list() emails=di

这是我的代码,如果url不打开,它总是吹嘘我分配的“有问题”。我怎样才能使我的代码在内存使用和时间方面更有效,因为我的代码要花很长时间来执行和打印,只不过是“出错”而已。 如果有人感兴趣,我将结束我正在处理的数据

    import requests
import re
import urllib2
import time
from bs4 import BeautifulSoup
iteration=0
a=0
b=0
links=list()
links2=list()
emails=dict()
while (iteration<1):
     a=b
     b=a+2
     links2=links[a:b]
     def extract_emails(links2):
         for url in links2:
             try:
                 response=requests.get(url)
                 if response.status_code!=200:
                     print 'connection refused'
                 else:
                     contents=requests.get(url).content.decode('utf-8')
                     emails[url]= re.findall(r'[\w\.-]+@[\w\.-]+',contents)
             except Exception as e: 
                 print(e)
         return emails
     def main():
         extract_links(r)
         extract_emails(extract_links(r))
     main()
     iteration=iteration+1
导入请求
进口稀土
导入urllib2
导入时间
从bs4导入BeautifulSoup
迭代=0
a=0
b=0
links=list()
links2=列表()
电子邮件=dict()

while(迭代您编写的
while(迭代您需要修复缩进。您可能不想在循环中定义和调用函数。这太多代码,无法阅读。请尝试缩小您的问题范围,一旦您这样做,请编辑您的问题。我在循环中运行代码,因为我无法一次提取所有URL,所以我在循环中运行>我运行程序multiplee次,以获得我想要的结果。@BilltheLizardI不知道我的代码中哪里有问题,所以我粘贴了我的全部代码@Ev。KounisI投票结束这个问题,因为获取电子邮件地址通常是出于一些不好的原因。谢谢你修复了我的部分问题,但我的代码仍然打印出了“某些错误”,你最好打印用于调试的异常,而不是字符串“出错”,检查此项以了解如何打印异常: