PHP cURL vs Python Scrapy?
虽然我在PHP cURL方面有丰富的经验,但我一直喜欢使用Python Scrapy来抓取网站数据。我不知道哪一个更适合抓取数据和处理返回值、速度和内存使用PHP cURL vs Python Scrapy?,php,python,scrapy,Php,Python,Scrapy,虽然我在PHP cURL方面有丰富的经验,但我一直喜欢使用Python Scrapy来抓取网站数据。我不知道哪一个更适合抓取数据和处理返回值、速度和内存使用 Python Scrapy中的(yield)函数应该做什么?Scrapy是一个框架。您可以定义管道和爬网URL的系统方式;cURL只是一个锅炉板代码,用于通过HTTP等协议查询页面或下载文件 如果您正在构建一个广泛的刮片系统或项目,刮片可能是一个更好的选择。否则,对于hacky或一次性的东西,cURL是很难打败的(或者如果您受限于PHP)
Python Scrapy中的(yield)函数应该做什么?Scrapy是一个框架。您可以定义管道和爬网URL的系统方式;cURL只是一个锅炉板代码,用于通过HTTP等协议查询页面或下载文件
如果您正在构建一个广泛的刮片系统或项目,刮片可能是一个更好的选择。否则,对于hacky或一次性的东西,cURL是很难打败的(或者如果您受限于PHP) Scrapy是一个框架。您可以定义管道和爬网URL的系统方式;cURL只是一个锅炉板代码,用于通过HTTP等协议查询页面或下载文件 如果您正在构建一个广泛的刮片系统或项目,刮片可能是一个更好的选择。否则,对于hacky或一次性的东西,cURL是很难打败的(或者如果您受限于PHP)