Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/357.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Can';t似乎没有循环浏览该网站页面中的所有数据—Python、Selenium和BeautifulSoup_Python_Selenium_Web Scraping_Beautifulsoup - Fatal编程技术网

Can';t似乎没有循环浏览该网站页面中的所有数据—Python、Selenium和BeautifulSoup

Can';t似乎没有循环浏览该网站页面中的所有数据—Python、Selenium和BeautifulSoup,python,selenium,web-scraping,beautifulsoup,Python,Selenium,Web Scraping,Beautifulsoup,似乎无法循环遍历所有页面的所有数据 for i in range(10): for media in ul.find_all('div', class_='media-body'): cname = media.find('h6').text.strip() cdiv = media.find('div').text.strip() ctype = media.find('p').text.strip() result =

似乎无法循环遍历所有页面的所有数据

for i in range(10):
    for media in ul.find_all('div', class_='media-body'):
        cname = media.find('h6').text.strip()
        cdiv = media.find('div').text.strip()
        ctype = media.find('p').text.strip()
        result = [cname, cdiv, ctype]
        print(result)
        print()

    nextPage = browser.find_element_by_xpath('/html/body/div[3]/div/div[2]/div/div/div[1]/div/ul[2]/li[12]/a')
    nextPage.send_keys(Keys.ENTER)
    time.sleep(5)
当我试图在这个网站上搜集数据时,我从第一页获取数据,但不是从所有页面获取数据

我可以看到Selenium在所有页面中循环,但是当我使用Selenium查找“next”按钮时,我只在第一页上获得列表

我想要的是每页得到10个结果(有10条数据),有10页,所以我最终应该得到100个结果

我得到的是第一页x10的结果

这是我实际得到的,但x10:

['GONG APHASIE', 'Santé, Biotech, Chimie - Health Tech', 'L’application qui rétablit la communication grâce aux images']

['SURFY', 'SSII & NTIC - Big Data', 'Solution digitale de centralisation des plans et des données en mode SaaS']

['YRCASH', 'Finance', 'Gestion dématérialisée de votre trésorerie']

['NAHIBU', 'Santé, Biotech, Chimie - Diagnostique, Analyse', "Commercialise un kit d'analyse de votre microbiote intestinal"]

['JERONIMOOOO', 'Emploi, Job', 'Permettre aux indépendants de mettre en place un réseau efficient pour leur activité professionnelle']

['HELLOHOME', 'Immobilier, BTP, Architecture - Immobilier', "Met en relation des personnes cherchant un bien à louer ou acheter, et les professionnels de l'immobilier"]

['MILVUE', 'Santé, Biotech, Chimie - Accessoires médicaux', "L'Intelligence Artificielle Pour La Radiologie d'Urgence"]

['CALA', 'Restauration, Cuisine, Alimentation', "Le premier restaurant de pâtes, où le cuisto c'est le robot"]

['URBASSIST', 'Services aux particuliers', 'Le premier assistant d’urbanisme en ligne']

['BEAUTYCAB', 'Mode, Textile, Beauté - Cosmétique', 'Votre espace beauté où vous voulez, quand vous voulez']

['GONG APHASIE', 'Santé, Biotech, Chimie - Health Tech', 'L’application qui rétablit la communication grâce aux images']

['SURFY', 'SSII & NTIC - Big Data', 'Solution digitale de centralisation des plans et des données en mode SaaS']

这不是使用XPath、使用特殊元素类id或某些atribute的好方法。发布url o html按钮代码以获取更多帮助这是网站,但你必须拥有一个帐户才能查看其他页面:我的问题是它没有任何按钮,“下一页”是以下代码:因此它加载了javascriptTry this xpath=“//a[@href='javascript:recherche_startup(2)]”。您可以在devtools中手动尝试,结果相同,但现在停止在第2页。我不知道为什么我看不到其他页面的数据,因为每次点击下一页后,你都必须获得这些数据。张贴错误会有所帮助