Python Scrapy-如何将复选框放入url中的复选框，然后进行刮取

我需要抓取一个包含

复选框的url。我想单击一些复选框并进行刮取，我想再次单击其他复选框进行刮取。比如,

我想单击“新建”，然后单击“刮”
然后，我想刮与使用和非常好的点击相同的网址

是否有一种方法可以做到这一点，而无需发出一个以上的请求，这是为了获取url而完成的

我猜当您单击其中一个框时，html会发生变化，因为当您优化搜索时，列表会发生变化。有什么想法吗？有什么建议吗

最好的

当页面发生更改时，它很可能会发出一个新的AJAX请求，从服务器检索一些数据，然后用javascript重新加载页面的某些部分

要在scrapy中复制，您需要在浏览器中找到通过网络工具发出的请求，并在scrapy spider中复制它们。

请参阅相关问题：
您错了

Scrapy无法操纵真正的类似浏览器的行为

从您链接的图像中，我看到您正在抓取亚马逊，因此在浏览器中打开该链接，并单击复选框，您将注意到浏览器中的URL也将根据新的过滤器集进行更改

然后把这个URL放在剪贴代码中，然后进行剪贴

如果您想操纵真正的浏览器行为请使用Python Selenium、PhantomJS或CasperJS。
我可以获取url并将其删除，但在这种情况下，我将加倍请求。我刮了很多网址，我需要为每一个。如果我更改两次url，为不同的复选框刮取相同的url，那么我将使请求数量加倍/三倍，所需时间加倍/三倍。这就是为什么我需要一个解决方案，它不会提出一个新的要求，把检查在boxes@CanGokalp无论如何，您都必须发出多个请求。。。因为当您单击复选框时，Amazon还会向其服务器发送一个AJAX，并接收更新的响应。。。