.aspx站点使用python进行Web抓取

我正试图从这里刮取位置：

我发现类似的线程与我的案例相匹配：使用python by。我的案子也一样。实际上，我正在尝试的网站包含5页。在抓取过程中，我应该从所有五页中获取位置，但我得到了5次第一页的结果。我一直在调整头球和其他一些东西，但没有取得任何成功。我相当确定问题在于viewstate和viewgenerator标题参数。我读过其他与.aspx相关的帖子，没有看到任何适合我的情况。非常感谢您在这方面的帮助

不幸的是，我目前仅限于使用请求或其他流行的python库

---

提前感谢。

在for循环中，您正在创建一个新的会话对象-您应该只拥有一个会话对象，而在代码的开头就有一个会话对象

当.get请求应该是.post时，您也在使用.get请求

替换：

# Getting data from each page
s = requests.Session()
headers = {'User-Agent': 'Mozilla/5.0'} #My user agent here
response = s.get(url, verify=False, headers=headers, data=data)

与：

---

你能分享你正在使用的实际代码吗？@Karl Thornton我已经把代码上传到上面了post@Dan我看不到你上传的代码。我有一个类似的问题，但还没有任何乐趣。

response = s.post(url, verify=False, headers=headers, data=data)