Fatal编程技术网

Python 靓汤刮网

python web-scraping

Python 靓汤刮网,python,web-scraping,beautifulsoup,Python,Web Scraping,Beautifulsoup,我试图从一个当地网站上得到一个产品名称和价格，为此我使用了美丽的汤。我的代码： productlinks = [] for x in range(1,5): r = requests.get(F'https://www.technodom.kz/bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/f/brands/lg/brands/samsung?page={x}') soup = BeautifulSoup(r.

我试图从一个当地网站上得到一个产品名称和价格，为此我使用了美丽的汤。我的代码：

productlinks = []
    
for x in range(1,5):
    r = requests.get(F'https://www.technodom.kz/bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/f/brands/lg/brands/samsung?page={x}')
    soup = BeautifulSoup(r.content, 'lxml')
    productlist = soup.find_all('li', class_='ProductCard')
    for item in productlist:
            for link in item.find_all('a', href=True):
                productlinks.append(baseurl + link['href'])
    print(productlinks)
代码不起作用，无法获取产品链接，返回[][]

你能为这个问题提出一个解决方案吗

谢谢你的反馈

现在它获得了产品链接，但是它会加倍计算每个产品（我为同一个产品获得了2个链接），有什么解决方案吗？此外，在获得产品链接后，我需要获得产品信息（例如，名称和价格），为此，我使用上面的代码，但它会重复计算产品，而不会获得名称和价格

 wmlist = []
for link in productlinks:
    driver.get(link)
    soup = BeautifulSoup(driver.page_source, "lxml")
    print(link)
    name = soup.find('h1', class_='ProductHeader-Title').text.strip()
    price = soup.find('p', class_='ProductPrice ProductInformation-Price').text.strip()

    wm = {
        'Model':name,
        'Price': price
    }
    wmlist.append(wm)
    print('Saving:', wm['Model'])
df = pd.DataFrame(wmlist)

df.to_excel("TD pricesTEST.xlsx", sheet_name='TEW', index=False)
网站是动态加载的，因此
请求
不支持它。尝试使用作为一种替代方法来刮除页面

安装时使用：
pip Install selenium

从下载正确的ChromeDriver

输出：

['https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-12b8wds7-215024', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-12b8wds7-215024', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-bnd-config/color-palette/belihy', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-bnd-config/color-palette/belihy', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stir-mashina-samsung-ww-60k40g09wdlp-219705', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stir-mashina-samsung-ww-60k40g09wdlp-219705', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohwdld-165832', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohwdld-165832', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhsw-136539', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhsw-136539', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kewdld-113951', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kewdld-113951', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kesdld-113952', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kesdld-113952', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhss-170387', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhss-170387', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-s-suskoj-samsung-wd-wwrxtwdld-148026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-s-suskoj-samsung-wd-wwrxtwdld-148026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhss-159900', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhss-159900', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds4-215028', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds4-215028', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-rxssdld-148185', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-rxssdld-148185', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-70j42g03wdld-216244', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-70j42g03wdld-216244', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296nds3-215026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296nds3-215026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-nlwdy-34836', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-nlwdy-34836', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds0-212817', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds0-212817', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhsw-170386', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhsw-170386', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296wds0-215025', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296wds0-215025', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2j6hg0w-141164', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2j6hg0w-141164', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v3gs6w-219501', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v3gs6w-219501', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohsdld-165831', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohsdld-165831', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v5hs9b-219577', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v5hs9b-219577', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-frfwd-34835', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-frfwd-34835', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-80t3040bw-ld-227819', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-80t3040bw-ld-227819']
...
...
内容是动态生成的，所以您应该使用感谢您的反馈！现在它获得了产品链接，但是它会加倍计算每个产品（我为同一个产品获得了2个链接），有什么解决方案吗？此外，在获得产品链接后，我需要获得产品信息（例如，名称和价格），为此，我使用上述代码，但它再次重复计算产品，而没有获得名称和价格。您能帮助解决我上面提到的另一个问题吗。 
['https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-12b8wds7-215024', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-12b8wds7-215024', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-bnd-config/color-palette/belihy', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-bnd-config/color-palette/belihy', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stir-mashina-samsung-ww-60k40g09wdlp-219705', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stir-mashina-samsung-ww-60k40g09wdlp-219705', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohwdld-165832', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohwdld-165832', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhsw-136539', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhsw-136539', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kewdld-113951', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kewdld-113951', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kesdld-113952', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-kesdld-113952', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhss-170387', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhss-170387', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-s-suskoj-samsung-wd-wwrxtwdld-148026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-s-suskoj-samsung-wd-wwrxtwdld-148026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhss-159900', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-mhss-159900', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds4-215028', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds4-215028', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-rxssdld-148185', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-rxssdld-148185', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-70j42g03wdld-216244', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-70j42g03wdld-216244', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296nds3-215026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296nds3-215026', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-nlwdy-34836', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-nlwdy-34836', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds0-212817', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296hds0-212817', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhsw-170386', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-lg-f-vhsw-170386', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296wds0-215025', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-1296wds0-215025', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2j6hg0w-141164', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2j6hg0w-141164', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v3gs6w-219501', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v3gs6w-219501', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohsdld-165831', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-ww-jeohsdld-165831', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v5hs9b-219577', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-lg-f-2v5hs9b-219577', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-frfwd-34835', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaa-masina-samsung-wf-frfwd-34835', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-80t3040bw-ld-227819', 'https://www.technodom.kz//bytovaja-tehnika/uhod-za-odezhdoj/stiral-nye-mashiny/p/stiralnaya-mashina-samsung-ww-80t3040bw-ld-227819']
...
...