Python 用BeautifulSoup刮,但首先要输入值吗?

Python 用BeautifulSoup刮,但首先要输入值吗?,python,web-scraping,beautifulsoup,python-requests,Python,Web Scraping,Beautifulsoup,Python Requests,我是新的网页抓取和不太熟悉的要求和美化小组 我正试图用BeautifulSoup创建一个aspx网站。但是要获得我想要的值,我首先需要选择一个下拉值,输入一个ID,然后按submit 这可能吗 任何帮助都将不胜感激 在您从下拉列表中做出所有选择后,可以尝试输入您得到的url。否则使用Selenium是最好的选择。如前所述,在使用此类网站时,Selenium是一个强大的工具,但它不是解决问题的唯一方法 根据您在问题中提供的信息,我假设该页面提供了一个表单,您可以通过在下拉列表中选择所需的值,然后点

我是新的网页抓取和不太熟悉的要求和美化小组

我正试图用BeautifulSoup创建一个aspx网站。但是要获得我想要的值,我首先需要选择一个下拉值,输入一个ID,然后按submit

这可能吗


任何帮助都将不胜感激

在您从下拉列表中做出所有选择后,可以尝试输入您得到的url。否则使用Selenium是最好的选择。

如前所述,在使用此类网站时,Selenium是一个强大的工具,但它不是解决问题的唯一方法

根据您在问题中提供的信息,我假设该页面提供了一个表单,您可以通过在下拉列表中选择所需的值,然后点击提交按钮来完成该表单

如果是这样的话,那么在处理更多信息的过程中会涉及一个POST请求。您可以轻松地检查请求数据,然后使用python重新生成它

Chrome用户指南:

按有关页面上的F12键。应该出现一个开发人员控制台

转到“网络”选项卡,然后按CTRL+R

选中左上角的“保留日志”和“禁用缓存”复选框

用所需信息填写表单数据,然后按提交按钮

检查文档或其他选项卡以获取POST请求

向下滚动请求窗口,直到找到表单数据部分

这就是您需要复制的数据。最有可能的是,选定的下拉列表值就是其中之一

现在是python部分

导入请求 url='1〕https://formsmarts.com/html-form-example'从标记中提取URL 数据={ “约翰”, “u_omM_338354”:“Doe”, “你的名字叫约翰。doe@email.com', “u_omM_338367”:“支持查询”,这是一个下拉列表 'u_omM_4609':'无评论' } r=requests.postrl,data=data发送包含已完成数据的POST请求 printr.text r.text是响应的HTML信息,您可以根据自己的意愿将其删除
希望这至少能回答你的一些问题。如果需要,请随时回答额外的问题。

这会更适合您的使用情况。您可以共享您想要提交的URL和值吗?