Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/309.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 如何同时解析多个网站?_Python_Python 3.x_Html Parsing_Spyder - Fatal编程技术网

Python 如何同时解析多个网站?

Python 如何同时解析多个网站?,python,python-3.x,html-parsing,spyder,Python,Python 3.x,Html Parsing,Spyder,使用Python3,我希望从4000多个网页的源代码中收集特定数据,并将其导出为csv格式的文件 当前正在使用:urllib.request.urlopen(url).read().decode(“utf-8”)以及.split()函数和数据帧 我在Spyder上同时运行了6个内核,使用不同的url集来提高速度。这行吗 使用多处理可以工作吗?也许一次执行100个源代码获取作业(请原谅没有更好的术语)。这会因为网站上的流量而产生问题吗 我被告知TCP握手时间可能是这种情况下的瓶颈。有相同的解决办

使用Python3,我希望从4000多个网页的源代码中收集特定数据,并将其导出为csv格式的文件

当前正在使用:
urllib.request.urlopen(url).read().decode(“utf-8”)
以及
.split()
函数和数据帧

  • 我在Spyder上同时运行了6个内核,使用不同的url集来提高速度。这行吗
  • 使用多处理可以工作吗?也许一次执行100个源代码获取作业(请原谅没有更好的术语)。这会因为网站上的流量而产生问题吗
  • 我被告知TCP握手时间可能是这种情况下的瓶颈。有相同的解决办法吗
使用Python实现这一点的其他好/更好的方法有哪些?
我目前估计完成的时间大约是60小时,只运行一个内核。

线程化将有助于我一次与一个网站建立多少连接以收集其数据是否有限制?