Python 有没有办法用POST表单抓取网站?
我正在使用Python3并对一些网站进行爬网 只要表单在GET中,我就可以轻松解析链接。是否有任何解决方法可以自动下载在单击包含action=POST的表单后生成的HTML?(谷歌没有透露任何有价值的信息……)Python 有没有办法用POST表单抓取网站?,python,html,forms,post,web-crawler,Python,Html,Forms,Post,Web Crawler,我正在使用Python3并对一些网站进行爬网 只要表单在GET中,我就可以轻松解析链接。是否有任何解决方法可以自动下载在单击包含action=POST的表单后生成的HTML?(谷歌没有透露任何有价值的信息……) 谢谢您可以使用刮板框架刮板。它允许使用POST请求进行刮取。虽然Scrapy可以用于Python2(到目前为止) 在这些零碎的文档中有一个错误 如果你的刮削工作很简单,你可以使用。它允许通过以下方式进行POST调用: import requests r = requests.post("
谢谢您可以使用刮板框架刮板。它允许使用POST请求进行刮取。虽然Scrapy可以用于Python2(到目前为止) 在这些零碎的文档中有一个错误 如果你的刮削工作很简单,你可以使用。它允许通过以下方式进行POST调用:
import requests
r = requests.post("http://web-address.com", {'parameter': 'value'})
r.text
你在用什么图书馆?如果你粘贴你的代码片段会更好。我正在使用Django。没有片段。我计划抓取这篇文章(但不知道如何抓取)。我的Python框架是Django。我没有使用任何代码示例,因为我还没有使用任何东西。我想知道我该怎么做,因为我不确定这是否可能。Thanksdjango是一个web框架。它与爬行和刮擦无关。如果你还没有试过什么,那就试一下。在发布一个模糊的问题之前,自己做一些研究。谢谢,我会看看是什么