Warning: file_get_contents(/data/phpspider/zhask/data//catemap/6/ant/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scrapy 请求中的请求_Scrapy - Fatal编程技术网

Scrapy 请求中的请求

Scrapy 请求中的请求,scrapy,Scrapy,我正试图从我的一个供应商那里获取产品数据。到目前为止,我已经使用凭据进行了身份验证,并访问了单个产品。页面的设置方式、基本HTML的加载方式以及javascript执行一些AJAX来检索某些产品属性,然后填充下拉选项。有多个下拉列表,每个下拉列表都需要上一个列表中的信息才能获得新选项 范例 装载 查找第一个产品链接,并跟踪到 在隐藏字段中查找productID 请求 返回JSON{“Small”:“S”,“Medium”:“M”,“X-Large”:“XL”} 请求 返回JSON{“蓝色”:“

我正试图从我的一个供应商那里获取产品数据。到目前为止,我已经使用凭据进行了身份验证,并访问了单个产品。页面的设置方式、基本HTML的加载方式以及javascript执行一些AJAX来检索某些产品属性,然后填充下拉选项。有多个下拉列表,每个下拉列表都需要上一个列表中的信息才能获得新选项

范例

  • 装载
  • 查找第一个产品链接,并跟踪到
  • 在隐藏字段中查找productID
  • 请求
  • 返回JSON{“Small”:“S”,“Medium”:“M”,“X-Large”:“XL”}
  • 请求
  • 返回JSON{“蓝色”:“蓝色”、“灰色”:“灰色”}
  • 请求
  • 返回JSON{'price':“12.99”}

我陷入困境的部分是请求开始获得产品选项的地方。我想对所有的空头进行循环,但我还想得到每个空头的所有选项的定价。我如何设置一个Scrapy请求以返回JSON,然后为每个后续产品选项循环该JSON?

您可以逐个执行,将挂起的请求保留在请求元中。