Python 漂亮的汤玻璃门页
我有一个glassdoor链接,我正试图通过Python 漂亮的汤玻璃门页,python,beautifulsoup,Python,Beautifulsoup,我有一个glassdoor链接,我正试图通过request.get() 我注意到,当我点击下一页时,添加了一个lou IP{page_number}.htm。例如: 第4页 但是,当我直接转到该链接(例如第4页)时,它不会将我带到第4页。有办法进入第n页吗 pages= 2 for x in range(1, pages): page_url = "https://www.glassdoor.com/Job/jobs.htm?sc.generalK
request.get()
我注意到,当我点击下一页时,添加了一个lou IP{page_number}.htm
。例如:
第4页
但是,当我直接转到该链接(例如第4页)时,它不会将我带到第4页。有办法进入第n页吗
pages= 2
for x in range(1, pages):
page_url = "https://www.glassdoor.com/Job/jobs.htm?sc.generalKeyword=%22teaching%22&sc.locationSeoString=new+york&locId=1132348&lo_IP{}.htm".format(x)
headers = {"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"}
page = requests.get(page_url, headers=headers)
soup = BeautifulSoup(page.content, 'html.parser')
作者:
源网站是由JS工作。它只是请求数据并更新url和页面。因此,这只是它放在url上的东西。你能展示实现OP要求的代码吗?谢谢!!乍一看,它似乎只是停留在第一页,但工作确实发生了变化。
<li class="page">
<a href="/Job/jobs.htm?sc.generalKeyword=%22teaching%22&sc.locationSeoString=new+york&locId=1132348&locT=C&p=4">
<span class="link">4</span>
</a>
</li>
url = f'https://www.glassdoor.com/Job/jobs.htm?sc.generalKeyword="teaching"&sc.locationSeoString=new+york&locId=1132348&locT=C&p={n}'