Can';t似乎没有循环浏览该网站页面中的所有数据—Python、Selenium和BeautifulSoup
似乎无法循环遍历所有页面的所有数据Can';t似乎没有循环浏览该网站页面中的所有数据—Python、Selenium和BeautifulSoup,python,selenium,web-scraping,beautifulsoup,Python,Selenium,Web Scraping,Beautifulsoup,似乎无法循环遍历所有页面的所有数据 for i in range(10): for media in ul.find_all('div', class_='media-body'): cname = media.find('h6').text.strip() cdiv = media.find('div').text.strip() ctype = media.find('p').text.strip() result =
for i in range(10):
for media in ul.find_all('div', class_='media-body'):
cname = media.find('h6').text.strip()
cdiv = media.find('div').text.strip()
ctype = media.find('p').text.strip()
result = [cname, cdiv, ctype]
print(result)
print()
nextPage = browser.find_element_by_xpath('/html/body/div[3]/div/div[2]/div/div/div[1]/div/ul[2]/li[12]/a')
nextPage.send_keys(Keys.ENTER)
time.sleep(5)
当我试图在这个网站上搜集数据时,我从第一页获取数据,但不是从所有页面获取数据
我可以看到Selenium在所有页面中循环,但是当我使用Selenium查找“next”按钮时,我只在第一页上获得列表
我想要的是每页得到10个结果(有10条数据),有10页,所以我最终应该得到100个结果
我得到的是第一页x10的结果
这是我实际得到的,但x10:
['GONG APHASIE', 'Santé, Biotech, Chimie - Health Tech', 'L’application qui rétablit la communication grâce aux images']
['SURFY', 'SSII & NTIC - Big Data', 'Solution digitale de centralisation des plans et des données en mode SaaS']
['YRCASH', 'Finance', 'Gestion dématérialisée de votre trésorerie']
['NAHIBU', 'Santé, Biotech, Chimie - Diagnostique, Analyse', "Commercialise un kit d'analyse de votre microbiote intestinal"]
['JERONIMOOOO', 'Emploi, Job', 'Permettre aux indépendants de mettre en place un réseau efficient pour leur activité professionnelle']
['HELLOHOME', 'Immobilier, BTP, Architecture - Immobilier', "Met en relation des personnes cherchant un bien à louer ou acheter, et les professionnels de l'immobilier"]
['MILVUE', 'Santé, Biotech, Chimie - Accessoires médicaux', "L'Intelligence Artificielle Pour La Radiologie d'Urgence"]
['CALA', 'Restauration, Cuisine, Alimentation', "Le premier restaurant de pâtes, où le cuisto c'est le robot"]
['URBASSIST', 'Services aux particuliers', 'Le premier assistant d’urbanisme en ligne']
['BEAUTYCAB', 'Mode, Textile, Beauté - Cosmétique', 'Votre espace beauté où vous voulez, quand vous voulez']
['GONG APHASIE', 'Santé, Biotech, Chimie - Health Tech', 'L’application qui rétablit la communication grâce aux images']
['SURFY', 'SSII & NTIC - Big Data', 'Solution digitale de centralisation des plans et des données en mode SaaS']
这不是使用XPath、使用特殊元素类id或某些atribute的好方法。发布url o html按钮代码以获取更多帮助这是网站,但你必须拥有一个帐户才能查看其他页面:我的问题是它没有任何按钮,“下一页”是以下代码:因此它加载了javascriptTry this xpath=“//a[@href='javascript:recherche_startup(2)]”。您可以在devtools中手动尝试,结果相同,但现在停止在第2页。我不知道为什么我看不到其他页面的数据,因为每次点击下一页后,你都必须获得这些数据。张贴错误会有所帮助