使用Python的请求库浏览网页/单击按钮

使用Python的请求库浏览网页/单击按钮,python,webpage,python-requests,Python,Webpage,Python Requests,我是网络编程新手,最近开始研究使用Python自动化一些手动过程。我要做的是登录到一个站点,单击一些下拉菜单来选择设置,然后运行一个报告 我找到了广受欢迎的请求库: 并且一直在想如何使用它 我已在此页面上使用bpbp的答案成功登录: 我对单击按钮的理解是编写模拟单击的post命令: 我的问题是,因为我对web编程和这个库不熟悉,我将如何提取需要的数据,以确定如何构造这些命令。我一直在研究[RequestObject].Header、.text等。任何示例都会很好 一如既往,谢谢你的帮助 编辑::

我是网络编程新手,最近开始研究使用Python自动化一些手动过程。我要做的是登录到一个站点,单击一些下拉菜单来选择设置,然后运行一个报告

我找到了广受欢迎的请求库: 并且一直在想如何使用它

我已在此页面上使用bpbp的答案成功登录:

我对单击按钮的理解是编写模拟单击的post命令:

我的问题是,因为我对web编程和这个库不熟悉,我将如何提取需要的数据,以确定如何构造这些命令。我一直在研究[RequestObject].Header、.text等。任何示例都会很好

一如既往,谢谢你的帮助

编辑::: 为了使这个问题更具体,我在与网页的不同方面进行交互时遇到了困难。下图显示了我实际要做的事情:


我在一个看起来像这样的网页上。有一个下拉菜单,其中包含可以更改的可单击日期。我的目标是自动将日期更改为最近的日期,单击“保存并运行”,并在完成运行后下载报告

我找到的唯一解决办法是。如果它不是一个重javascript的网站,您可以尝试,但为此,您需要呈现javascript,然后注入javascript…就像Selenium一样


好处:您可以使用selenium在Firefox中记录操作,然后将这些操作导出到python。缺点是,这段代码必须打开浏览器窗口才能运行。

我没有太多的方向可以尝试。我确实编辑了这篇文章,对我正在尝试做的事情有了更具体的想法-因此我认为这不仅仅是一个提取HTML的好解析器,而是如何将不同的信息发布到站点以完成不同的任务,特别是“单击”任务检查您试图爬网的页面中是否有javascript。对于这样的流程,一个可能的工作流是使用requests.get加载有问题的页面,找出需要从页面中获取的任何动态表单元素,然后使用requests.post提交所需信息。使用浏览器的开发工具可以非常有价值地查看POST请求中发送的内容。