如何使用python提取具有相同类的所有数据

如何使用python提取具有相同类的所有数据,python,web-scraping,beautifulsoup,data-mining,Python,Web Scraping,Beautifulsoup,Data Mining,我需要找到所有的标题数据和股票编号。我写了一个代码,当我使用find_all方法时,它可以很好地处理单个项目。它显示错误。请查看我的代码,并指导我如何处理此问题。谢谢大家! 这是我的密码: import requests from bs4 import BeautifulSoup #import pandas as pd #import numpy as import csv def get_page(url): response = requests.get(url) if

我需要找到所有的标题数据和股票编号。我写了一个代码,当我使用find_all方法时,它可以很好地处理单个项目。它显示错误。请查看我的代码,并指导我如何处理此问题。谢谢大家!

这是我的密码:

import requests
from bs4 import BeautifulSoup
#import pandas as pd
#import numpy as
import csv

def get_page(url):
    response = requests.get(url)
    if not response.ok:
        print('server responded:', response.status_code)
    else:
        soup = BeautifulSoup(response.text, 'html.parser') # 1. html , 2. parser
    return soup
def get_detail_page(soup):
     title = soup.find_all('div',class_="vehicle-location-name mts bold",id=False).text
     print(title)
     stock = soup.find_all('div',class_="text-lightgray",id=False).find('span').text
     print(stock)
def main():
    url = "https://www.superbrightleds.com/vehicle/2002-acura-cl-vehicle-led-lights?make=1&model=554&year=2002"
    get_detail_page(get_page(url))

if __name__ == '__main__':
    main()
尝试:


它显示的错误是什么?@一条线索,谢谢,但它显示了一些值超过1次。你能帮我把这个也修好吗?我已经编辑了我原来的帖子;您可以将
findAll(),标题不完全相同,请将输出存储到csv文件中好吗?要写入csv库,请使用
csv
库:(参见链接页面上的示例)
def get_detail_page(soup):
    titles = soup.findAll('div', attrs={"class": "vehicle-location-name mts bold"})
    stocks = soup.findAll('div', attrs={"class": "text-lightgray"})

    title = [title.get_text() for title in titles if title]
    stock = [stock.get_text() for stock in stocks if stock and 'Stock #' in str(stock)]

    for idx in range(len(stock)):
        print(f'{title[idx]}\n\t{stock[idx]}')