Web scraping scrapy:从带有“scrapy”的网站上抓取数据;“显示更多”;按钮

Web scraping scrapy:从带有“scrapy”的网站上抓取数据;“显示更多”;按钮,web-scraping,scrapy,Web Scraping,Scrapy,我正在尝试从这个网站上获取利率、银行名称、贷款价值比: 问题在于,除非按下“显示更多”按钮,否则所有数据都不会显示 在network选项卡上的developer tools中,我可以看到,当单击“show more”按钮时,调用了名为“GetTableItemsFor”的东西,并且我需要的数据在该响应中。然而,我似乎无法用scrapy复制这个请求 例如,如果我将其复制为curl,并运行下面的代码,它将超时。使用,我将卷曲转化为一个刮擦请求 来自scrapy导入请求的 url='1〕https:

我正在尝试从这个网站上获取利率、银行名称、贷款价值比:

问题在于,除非按下“显示更多”按钮,否则所有数据都不会显示

在network选项卡上的developer tools中,我可以看到,当单击“show more”按钮时,调用了名为“GetTableItemsFor”的东西,并且我需要的数据在该响应中。然而,我似乎无法用scrapy复制这个请求

例如,如果我将其复制为curl,并运行下面的代码,它将超时。使用,我将卷曲转化为一个刮擦请求

来自scrapy导入请求的

url='1〕https://moneyfacts.co.uk/umbraco/surface/MortgagesFinder/GetTableItemsFor"'  
请求=请求(
url=url,
方法='POST',
Don_filter=True,
)
提取(请求)
开发者标签的屏幕截图