Web scraping Scrapy，在现有spider登录后使用shell访问页面。。。（登录，然后从那里开始）
我正在阅读并看到我可以访问Scrpay Shell，如Web scraping Scrapy，在现有spider登录后使用shell访问页面。。。（登录，然后从那里开始）,web-scraping,scrapy,Web Scraping,Scrapy,我正在阅读并看到我可以访问Scrpay Shell，如scrapy Shell“http://quotes.toscrape.com/page/1/“ 我只需要抓取我需要的所有网站 使用uname/passwd（存储在方法中）登录 转到带有分页的概述页面 从那里打开各个产品页面（在那里我们可以刮取实际数据） 问题：如何使用shell按名称启动1个现有的spider。然后让它登录并停止，这样我就可以使用shell访问响应了 问题：如何让它停在第一个分类页面上？或者我怎样才能让它停在第一个产品页
scrapy Shell“http://quotes.toscrape.com/page/1/“- 使用uname/passwd（存储在方法中）登录
- 转到带有分页的概述页面
- 从那里打开各个产品页面（在那里我们可以刮取实际数据）
谢谢！感谢您的反馈启动刮板并访问特定页面上的刮壳的最简单方法是将以下内容放入您希望看到响应的方法中：
def parse(self, response)
from scrapy.shell import inspect_response
inspect_response(response, self)
scrapy crawl…