Python Beautiful Soup find all是否有最大缓冲区大小?

Python Beautiful Soup find all是否有最大缓冲区大小?,python,web-scraping,beautifulsoup,Python,Web Scraping,Beautifulsoup,我试图收集某个网页中的所有服装图片,但我只检索了168张中的32张 这是否与我可能丢失的web动态属性有关,或者与最大缓冲区大小有关 import requests from bs4 import BeautifulSoup url = 'https://zalando.com/ropa-de-mujer/?p=2' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') garments

我试图收集某个网页中的所有服装图片,但我只检索了168张中的32张

这是否与我可能丢失的web动态属性有关,或者与最大缓冲区大小有关

import requests
from bs4 import BeautifulSoup

url = 'https://zalando.com/ropa-de-mujer/?p=2'

response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
garments = soup.find_all("div", class_="cat_articleContain-1Z60A")

for garment in garments:
    images = garment.find('img', class_='cat_image-1byrW')
    print(images['src'])

当我看到这个网站的查看源时,32。其他项是JSON格式的 因此,在本例中,使用
selenium
功能更强大。如果尚未安装,则可以在中安装

URL在我的国家/地区不可访问,因此请在urs中更改URL

输出:

[u'、u'、u'、u'、u'、u'

..最多84个

顺便说一句,当达到加载更多按钮时,有84项,而不是168项

from selenium import webdriver


options = webdriver.ChromeOptions()


driver=webdriver.Chrome(chrome_options=options, 
executable_path=r'chromedriver path') 

driver.get("https://www.zalando.es/ropa-de-mujer/?p=2") 
x = driver.find_elements_by_css_selector("div.cat_articleContain-1Z60A") ## div . means class (# for id)
href = [link.find_element_by_css_selector('a').get_attribute('href') for link in x]
img = [link.find_element_by_css_selector('img').get_attribute('src') for link in x]

print(img)

driver.close() // Close page