Python 如何同时解析多个网站?
使用Python3,我希望从4000多个网页的源代码中收集特定数据,并将其导出为csv格式的文件 当前正在使用:Python 如何同时解析多个网站?,python,python-3.x,html-parsing,spyder,Python,Python 3.x,Html Parsing,Spyder,使用Python3,我希望从4000多个网页的源代码中收集特定数据,并将其导出为csv格式的文件 当前正在使用:urllib.request.urlopen(url).read().decode(“utf-8”)以及.split()函数和数据帧 我在Spyder上同时运行了6个内核,使用不同的url集来提高速度。这行吗 使用多处理可以工作吗?也许一次执行100个源代码获取作业(请原谅没有更好的术语)。这会因为网站上的流量而产生问题吗 我被告知TCP握手时间可能是这种情况下的瓶颈。有相同的解决办
urllib.request.urlopen(url).read().decode(“utf-8”)
以及.split()
函数和数据帧
- 我在Spyder上同时运行了6个内核,使用不同的url集来提高速度。这行吗
- 使用多处理可以工作吗?也许一次执行100个源代码获取作业(请原谅没有更好的术语)。这会因为网站上的流量而产生问题吗李>
- 我被告知TCP握手时间可能是这种情况下的瓶颈。有相同的解决办法吗
我目前估计完成的时间大约是60小时,只运行一个内核。线程化将有助于我一次与一个网站建立多少连接以收集其数据是否有限制?