Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/345.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/html/76.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 有没有办法用POST表单抓取网站?_Python_Html_Forms_Post_Web Crawler - Fatal编程技术网

Python 有没有办法用POST表单抓取网站?

Python 有没有办法用POST表单抓取网站?,python,html,forms,post,web-crawler,Python,Html,Forms,Post,Web Crawler,我正在使用Python3并对一些网站进行爬网 只要表单在GET中,我就可以轻松解析链接。是否有任何解决方法可以自动下载在单击包含action=POST的表单后生成的HTML?(谷歌没有透露任何有价值的信息……) 谢谢您可以使用刮板框架刮板。它允许使用POST请求进行刮取。虽然Scrapy可以用于Python2(到目前为止) 在这些零碎的文档中有一个错误 如果你的刮削工作很简单,你可以使用。它允许通过以下方式进行POST调用: import requests r = requests.post("

我正在使用Python3并对一些网站进行爬网

只要表单在GET中,我就可以轻松解析链接。是否有任何解决方法可以自动下载在单击包含action=POST的表单后生成的HTML?(谷歌没有透露任何有价值的信息……)


谢谢

您可以使用刮板框架刮板。它允许使用POST请求进行刮取。虽然Scrapy可以用于Python2(到目前为止)

在这些零碎的文档中有一个错误

如果你的刮削工作很简单,你可以使用。它允许通过以下方式进行POST调用:

import requests
r = requests.post("http://web-address.com", {'parameter': 'value'})
r.text

你在用什么图书馆?如果你粘贴你的代码片段会更好。我正在使用Django。没有片段。我计划抓取这篇文章(但不知道如何抓取)。我的Python框架是Django。我没有使用任何代码示例,因为我还没有使用任何东西。我想知道我该怎么做,因为我不确定这是否可能。Thanksdjango是一个web框架。它与爬行和刮擦无关。如果你还没有试过什么,那就试一下。在发布一个模糊的问题之前,自己做一些研究。谢谢,我会看看是什么