Python 使用html请求进行Web抓取
所以，我正试图建立一个刮板刮所有汽车广告从一个网站。我已经成功地创建了一个带有每个广告url的csv，现在我正在尝试获取每辆车的详细信息。我最初使用的是urllib和bs4，但我认为由于使用javascript填充汽车详细信息，bs4无法解析它们。我尝试过使用requests_html，但它似乎找不到我要求它使用的元素。这是一个示例页面，我想刮。我正在尝试获取诸如品牌、型号、里程数和发动机尺寸等信息。这是我迄今为止尝试过的代码Python 使用html请求进行Web抓取,python,screen-scraping,python-requests-html,Python,Screen Scraping,Python Requests Html,所以，我正试图建立一个刮板刮所有汽车广告从一个网站。我已经成功地创建了一个带有每个广告url的csv，现在我正在尝试获取每辆车的详细信息。我最初使用的是urllib和bs4，但我认为由于使用javascript填充汽车详细信息，bs4无法解析它们。我尝试过使用requests_html，但它似乎找不到我要求它使用的元素。这是一个示例页面，我想刮。我正在尝试获取诸如品牌、型号、里程数和发动机尺寸等信息。这是我迄今为止尝试过的代码 from requests_html import HTMLSess
from requests_html import HTMLSession
from bs4 import BeautifulSoup as soup
session = HTMLSession()
page = session.get('https://www.donedeal.ie/cars-for-sale/131-citroen-c4-picasso-platinum/28022543')
container = page.html.find('.cad-info-container', first=False)