Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/php/229.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
PHP cURL vs Python Scrapy?_Php_Python_Scrapy - Fatal编程技术网

PHP cURL vs Python Scrapy?

PHP cURL vs Python Scrapy?,php,python,scrapy,Php,Python,Scrapy,虽然我在PHP cURL方面有丰富的经验,但我一直喜欢使用Python Scrapy来抓取网站数据。我不知道哪一个更适合抓取数据和处理返回值、速度和内存使用 Python Scrapy中的(yield)函数应该做什么?Scrapy是一个框架。您可以定义管道和爬网URL的系统方式;cURL只是一个锅炉板代码,用于通过HTTP等协议查询页面或下载文件 如果您正在构建一个广泛的刮片系统或项目,刮片可能是一个更好的选择。否则,对于hacky或一次性的东西,cURL是很难打败的(或者如果您受限于PHP)

虽然我在PHP cURL方面有丰富的经验,但我一直喜欢使用Python Scrapy来抓取网站数据。我不知道哪一个更适合抓取数据和处理返回值、速度和内存使用


Python Scrapy中的(yield)函数应该做什么?

Scrapy是一个框架。您可以定义管道和爬网URL的系统方式;cURL只是一个锅炉板代码,用于通过HTTP等协议查询页面或下载文件


如果您正在构建一个广泛的刮片系统或项目,刮片可能是一个更好的选择。否则,对于hacky或一次性的东西,cURL是很难打败的(或者如果您受限于PHP)

Scrapy是一个框架。您可以定义管道和爬网URL的系统方式;cURL只是一个锅炉板代码,用于通过HTTP等协议查询页面或下载文件

如果您正在构建一个广泛的刮片系统或项目,刮片可能是一个更好的选择。否则,对于hacky或一次性的东西,cURL是很难打败的(或者如果您受限于PHP)