Web scraping 正在使用scrapy等待加载页面

我尝试使用FormRequest获取网页内容以绕过表单。但问题是，在这个表单之后，有一个带有加载条的页面，只有在这个加载条满了之后，网站才会显示我想要的内容。scrapy脚本给出的是响应对象中的加载页面，而不是包含我想要的结果的最终网页。我能做些什么来解决这个问题？我相信，也许我需要设置一个计时器，让爬虫等待加载页面完成他的工作

在进行基本HTML抓取时，没有等待的概念。Scrapy向Web服务器发出请求并收到响应——您只得到了响应

页面上的加载栏很可能使用Javascript呈现页面结果。一个普通的浏览器似乎会在页面上等待——在引擎盖下，它运行Javascript，并可能在有足够的信息呈现页面之前向web服务器发出更多请求

为了以编程方式复制结果，您必须以某种方式呈现该Javascript。不幸的是，Scrapy没有内置这种功能

您拥有的一些选项包括：