Python 我怎样才能进入下一页';关于硒的评论?

Python 我怎样才能进入下一页';关于硒的评论?,python,selenium,web-scraping,beautifulsoup,web-crawler,Python,Selenium,Web Scraping,Beautifulsoup,Web Crawler,我正试图从你的网站上搜刮超过10页的评论 然而,当我转到下一页并尝试获取新页的评论时,我仍然只获取第一页的评论 我使用了driver.execute_脚本(“goPage(2)”)和time.sleep(5),但我的代码只给出了第一页的评论 “我使用for循环并不是为了查看第1页和第2页之间的结果是否不同” “我进口了美丽素和硒” 这是我的密码: url = "https://www.innisfree.com/kr/ko/ProductReviewList.do" chromedri

我正试图从你的网站上搜刮超过10页的评论

然而,当我转到下一页并尝试获取新页的评论时,我仍然只获取第一页的评论

我使用了driver.execute_脚本(“goPage(2)”)和time.sleep(5),但我的代码只给出了第一页的评论

“我使用for循环并不是为了查看第1页和第2页之间的结果是否不同” “我进口了美丽素和硒”

这是我的密码:

  url = "https://www.innisfree.com/kr/ko/ProductReviewList.do"

  chromedriver = r'C:\Users\hhm\Downloads\chromedriver_win32\chromedriver.exe'

  driver = webdriver.Chrome(chromedriver)

  driver.get(url)


  print("this is page 1")

  driver.execute_script("goPage(1)")

  nTypes = soup.select('.reviewList ul .newType div[class^=reviewCon] .reviewConTxt')


  for nType in nTypes:

         product = nType.select_one('.pdtName').text

         print(product)


 print('\n')

 print("this is page 2")

 driver.execute_script("goPage(2)")

 time.sleep(5)

 nTypes = soup.select('.reviewList ul .newType div[class^=reviewCon] .reviewConTxt')


 for nType in nTypes:

         product = nType.select_one('.pdtName').text

         print(product)

如果第二个页面作为新窗口打开,则需要切换到另一个页面,并将selenium控件切换到另一个窗口

例如:

# Opens a new tab
self.driver.execute_script("window.open()")

# Switch to the newly opened tab
self.driver.switch_to.window(self.driver.window_handles[1])
资料来源:


如果第二个页面作为新窗口打开,则需要切换到另一个页面,并将selenium控件切换到另一个窗口

例如:

# Opens a new tab
self.driver.execute_script("window.open()")

# Switch to the newly opened tab
self.driver.switch_to.window(self.driver.window_handles[1])
资料来源:


请尝试以下代码。您需要单击每个分页链接以进入下一页。您将获得所有100条评论

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time
url = "https://www.innisfree.com/kr/ko/ProductReviewList.do"
chromedriver = r'C:\Users\hhm\Downloads\chromedriver_win32\chromedriver.exe'
driver = webdriver.Chrome(chromedriver)
driver.get(url)

for i in range(2,12):
   time.sleep(2)
   soup=BeautifulSoup(driver.page_source,'html.parser')
   nTypes = soup.select('.reviewList ul .newType div[class^=reviewCon] .reviewConTxt')
   for nType in nTypes:
      product = nType.select_one('.pdtName').text
      print(product)
   if i==11:
    break
   nextbutton=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,"//span[@class='num']/a[text()='" +str(i)+"']")))
   driver.execute_script("arguments[0].click();",nextbutton)

请尝试以下代码。您需要单击每个分页链接以访问下一页。您将获得所有100条评论

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup
import time
url = "https://www.innisfree.com/kr/ko/ProductReviewList.do"
chromedriver = r'C:\Users\hhm\Downloads\chromedriver_win32\chromedriver.exe'
driver = webdriver.Chrome(chromedriver)
driver.get(url)

for i in range(2,12):
   time.sleep(2)
   soup=BeautifulSoup(driver.page_source,'html.parser')
   nTypes = soup.select('.reviewList ul .newType div[class^=reviewCon] .reviewConTxt')
   for nType in nTypes:
      product = nType.select_one('.pdtName').text
      print(product)
   if i==11:
    break
   nextbutton=WebDriverWait(driver,10).until(EC.element_to_be_clickable((By.XPATH,"//span[@class='num']/a[text()='" +str(i)+"']")))
   driver.execute_script("arguments[0].click();",nextbutton)

任何帮助都将非常感谢。谢谢。您把汤分配到哪里了?您在调用
goPage(2)
后是否重新分配了汤。哦,请删除多余的空白行如果您正在使用selenium,只需单击“下一步”按钮即可?任何帮助都将非常感谢。谢谢。您把汤分配到哪里了?您在调用
goPage(2)
后是否重新分配了汤。哦,请删除多余的空白行如果您使用的是selenium,请点击“下一步”按钮?您真的帮了我很多!!非常感谢你。你真的帮了我很多!!非常感谢你。