更多标准化python post请求(web抓取)
我想从波兰天然气系统运营商的网站上获取一些数据 以下是一个网站: 然后链接到“提名” 主持人是: 然后我更改数据(从)并单击过滤器按钮 我想使用Python和请求模块 我的简单代码:更多标准化python post请求(web抓取),python,python-3.x,web-scraping,python-requests,Python,Python 3.x,Web Scraping,Python Requests,我想从波兰天然气系统运营商的网站上获取一些数据 以下是一个网站: 然后链接到“提名” 主持人是: 然后我更改数据(从)并单击过滤器按钮 我想使用Python和请求模块 我的简单代码: import requests swi_url = 'https://swi.gaz-system.pl/swi/public/embed.seam?viewId=E_PUB_043NN&lang=en' payload = { "embedsubview:subview_
import requests
swi_url = 'https://swi.gaz-system.pl/swi/public/embed.seam?viewId=E_PUB_043NN&lang=en'
payload = {
"embedsubview:subview_nomination_list_id:form_nomination_table_list_id":"embedsubview:subview_nomination_list_id:form_nomination_table_list_id",
"embedsubview:subview_nomination_list_id:form_nomination_table_list_id:j_id17":"Filtruj",
"embedsubview:subview_nomination_list_id:form_nomination_table_list_id:nominationTable:dayFromField:dayFromInputDate":"2015-01-01",
"embedsubview:subview_nomination_list_id:form_nomination_table_list_id:nominationTable:dayToField:dayToInputDate":"2015-10-20",
}
r = requests.post(swi_url, data=payload)
a = r.text
print(a)
响应不是我期望的,因为它返回今天的数据
应该改进什么?页面HTML不是来自原始PHP或HTML文档,而是从javascript脚本直接生成的。您需要使用selenium、Phantom JS或Casper JS来解决这个问题。谢谢您的建议。我将试用这些软件。