Python 刮痧请求

我在申请时遇到了麻烦。我正在尝试从该页面获取所有评论（无限滚动）：

当我滚动时，我可以看到一个post请求，其数据格式为：{xyz:“3”}

但是，当我尝试使用scrapy命令行时，我无法得到正确的响应

from scrapy import FormRequest

fetch（“https://www.temporel-voyance.com/voyance/planning/consultations-voyants-en-privee/angele/1041“”

req=FormRequest（response.url，formdata={“xyz”：“3”}）

fetch（请求）

我看了这一页：但我还是被卡住了

有人能帮我吗

多谢各位！

---

Mylha

如果您仔细查看正在发出的请求，您会发现它实际上指向不同的url，https://www.temporel-voyance.com/voyants/temoignages?voyant_id=1041

如果您向该url发出表单请求，您将获得更新的数据：

>>> req = scrapy.FormRequest('https://www.temporel-voyance.com/voyants/temoignages?voyant_id=1041', formdata={'xyz': '3'})
>>> fetch(req)
2018-10-20 13:43:42 [scrapy.core.engine] DEBUG: Crawled (200) <POST https://www.temporel-voyance.com/voyants/temoignages?voyant_id=1041> (referer: None)
>>> response.css('.name_user b::text').getall()
['Chou', 'Jérôme', 'Sonia']

>>req=scrapy.FormRequest（'https://www.temporel-voyance.com/voyants/temoignages?voyant_id=1041，formdata={'xyz'：'3'}）
>>>获取（请求）
2018-10-20 13:43:42[刮屑核心引擎]调试：爬网（200）（参考：无）
>>>response.css（'.name_user b:：text'）.getall（）
['Chou'，'Jérôme'，'Sonia']