Python 漂亮的汤玻璃门页

Python 漂亮的汤玻璃门页,python,beautifulsoup,Python,Beautifulsoup,我有一个glassdoor链接,我正试图通过request.get() 我注意到,当我点击下一页时,添加了一个lou IP{page_number}.htm。例如: 第4页 但是,当我直接转到该链接(例如第4页)时,它不会将我带到第4页。有办法进入第n页吗 pages= 2 for x in range(1, pages): page_url = "https://www.glassdoor.com/Job/jobs.htm?sc.generalK

我有一个glassdoor链接,我正试图通过
request.get()

我注意到,当我点击下一页时,添加了一个
lou IP{page_number}.htm
。例如: 第4页

但是,当我直接转到该链接(例如第4页)时,它不会将我带到第4页。有办法进入第n页吗

    pages= 2
 
    for x in range(1, pages):
        page_url = "https://www.glassdoor.com/Job/jobs.htm?sc.generalKeyword=%22teaching%22&sc.locationSeoString=new+york&locId=1132348&lo_IP{}.htm".format(x)
        headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"}
        page = requests.get(page_url, headers=headers)
        soup = BeautifulSoup(page.content, 'html.parser')

作者:


源网站是由JS工作。它只是请求数据并更新url和页面。因此,这只是它放在url上的东西。

你能展示实现OP要求的代码吗?谢谢!!乍一看,它似乎只是停留在第一页,但工作确实发生了变化。
<li class="page">
    <a href="/Job/jobs.htm?sc.generalKeyword=%22teaching%22&amp;sc.locationSeoString=new+york&amp;locId=1132348&amp;locT=C&amp;p=4">
        <span class="link">4</span>
    </a>
</li>
url = f'https://www.glassdoor.com/Job/jobs.htm?sc.generalKeyword="teaching"&sc.locationSeoString=new+york&locId=1132348&locT=C&p={n}'