Scrapy 请求中的请求
我正试图从我的一个供应商那里获取产品数据。到目前为止,我已经使用凭据进行了身份验证,并访问了单个产品。页面的设置方式、基本HTML的加载方式以及javascript执行一些AJAX来检索某些产品属性,然后填充下拉选项。有多个下拉列表,每个下拉列表都需要上一个列表中的信息才能获得新选项 范例Scrapy 请求中的请求,scrapy,Scrapy,我正试图从我的一个供应商那里获取产品数据。到目前为止,我已经使用凭据进行了身份验证,并访问了单个产品。页面的设置方式、基本HTML的加载方式以及javascript执行一些AJAX来检索某些产品属性,然后填充下拉选项。有多个下拉列表,每个下拉列表都需要上一个列表中的信息才能获得新选项 范例 装载 查找第一个产品链接,并跟踪到 在隐藏字段中查找productID 请求 返回JSON{“Small”:“S”,“Medium”:“M”,“X-Large”:“XL”} 请求 返回JSON{“蓝色”:“
- 装载
- 查找第一个产品链接,并跟踪到
- 在隐藏字段中查找productID
- 请求
- 返回JSON{“Small”:“S”,“Medium”:“M”,“X-Large”:“XL”}
- 请求
- 返回JSON{“蓝色”:“蓝色”、“灰色”:“灰色”}
- 请求
- 返回JSON{'price':“12.99”}
我陷入困境的部分是请求开始获得产品选项的地方。我想对所有的空头进行循环,但我还想得到每个空头的所有选项的定价。我如何设置一个Scrapy请求以返回JSON,然后为每个后续产品选项循环该JSON?您可以逐个执行,将挂起的请求保留在请求元中。