Python Can'；t使用请求从下一页获取公司链接

我用python创建了一个脚本，从一个网站获取不同卡车运输公司的链接。其中有3501条记录遍历多个页面。我想抓住那些记录的链接。我当前的尝试可以从中获取链接；'这是登陆pabe，但我找不到任何方法进入下一页解析那里的链接等等

我试过：

import requests
from bs4 import BeautifulSoup

url = 'http://www.truckingcompanies.ca/trucking_new-york/'

def get_links(link):
    r = requests.get(link)
    soup = BeautifulSoup(r.text,"lxml")
    for item in soup.select("[id^='trucking_company_record_'] a[id^='company_name_']"):
        print(item.get("href"))

if __name__ == '__main__':
    get_links(url)

---

如何使用请求获取不同公司下一页的链接？

您的确切意思是什么？您的代码应该返回什么？你能做个简单的解释吗？我已经没有什么要解释的了。然而，打开该链接，向下滚动，您将看到“下一页”按钮，该按钮指向下一页。我想去那里。就是这样。如果您可以动态地构造下一个页面url，那么就可以通过请求来实现。如果不可能，那么您必须尝试使用selenium。如果selenium适用于此特定站点@Sureshmani，那么欢迎使用与selenium相关的解决方案。有一个jquery ajax调用，但它似乎失败了（至少对我来说，在两个不同操作系统上的chrome和FF中），至少有一个js文件引发其他错误。这个页面对你有用吗？你的确切意思是什么？您的代码应该返回什么？你能做个简单的解释吗？我已经没有什么要解释的了。然而，打开该链接，向下滚动，您将看到“下一页”按钮，该按钮指向下一页。我想去那里。就是这样。如果您可以动态地构造下一个页面url，那么就可以通过请求来实现。如果不可能，那么您必须尝试使用selenium。如果selenium适用于此特定站点@Sureshmani，那么欢迎使用与selenium相关的解决方案。有一个jquery ajax调用，但它似乎失败了（至少对我来说，在两个不同操作系统上的chrome和FF中），至少有一个js文件引发其他错误。这页对你有用吗？