Python 如何使用selenium执行网页上的所有javascript内容,以便在完全加载的网页上查找和发送登录表单信息

Python 如何使用selenium执行网页上的所有javascript内容,以便在完全加载的网页上查找和发送登录表单信息,python,selenium,selenium-webdriver,frame,webdriverwait,Python,Selenium,Selenium Webdriver,Frame,Webdriverwait,我一直在尝试制作一个Python脚本来登录某个网站,浏览菜单,填写表单,并将生成的文件保存到文件夹中 我一直在使用Selenium试图使网站完全加载,以便找到登录的元素,但我没有成功,可能是因为网站在完全加载之前做了很多JavaScript内容,但我无法使其完全加载并显示我想要的数据 我尝试了Robobrowser、Selenium、Requests和BeautifulSoup来完成它 import requests from bs4 import BeautifulSoup from sele

我一直在尝试制作一个Python脚本来登录某个网站,浏览菜单,填写表单,并将生成的文件保存到文件夹中

我一直在使用Selenium试图使网站完全加载,以便找到登录的元素,但我没有成功,可能是因为网站在完全加载之前做了很多JavaScript内容,但我无法使其完全加载并显示我想要的数据

我尝试了Robobrowser、Selenium、Requests和BeautifulSoup来完成它

import requests
from bs4 import BeautifulSoup
from selenium import webdriver

url = "https://directa.natal.rn.gov.br/"

driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")
driver.get(url)

html = driver.execute_script("return document.documentElement.outerHTML")
sel_soup = BeautifulSoup(html, 'html.parser')

senha = driver.find_element_by_xpath('//*[@id="senha"]')
senha.send_keys("123")

我本想用“123”填充密码(senha)字段,但我甚至找不到元素。

这里似乎需要一点滚动,等待并切换,以防登录字段还没有准备好输入:)下面应该可以工作,这样我们就可以滚动到元素,切换到iframe,在我们与登录表单的其余部分交互之前。您可以将延迟时间从5秒调整为您喜欢的任何时间

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException

""" Variables """
url = "https://directa.natal.rn.gov.br/"
delay = 5 # seconds

""" Initiate driver """
driver = webdriver.Chrome(executable_path="C:\\webdrivers\\chromedriver.exe")

""" Go to url """
driver.get(url)

""" Iframe switch """
WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"frame[name='mainsystem'][src^='main']")))


""" Attempt to get all our elements """
try:
    """ Username """
    usuario = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'usuario')))
    """ Password """
    senha = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'senha')))

    print("All elements located!")

except TimeoutException:
    print("Loading took too much time!")
    exit(0)

"""Scroll to our element """
driver.execute_script("arguments[0].scrollIntoView();", usuario)

""" Input data into our fields """
usuario.send_keys("username")
senha.send_keys("password")

""" Locate our login element """
login = WebDriverWait(driver, delay).until(EC.presence_of_element_located((By.ID, 'acessar')))

""" Click Login """
login.click()

要将字符序列123发送到密码(senha)字段,因为所需元素位于
中,因此您必须:

  • 诱导WebDriverWait以使所需帧可用并切换到该帧
  • 诱导WebDriverWait使所需元素可单击
  • 您可以使用以下解决方案:

    • 代码块:

      from selenium import webdriver
      from selenium.webdriver.common.by import By
      from selenium.webdriver.support.ui import WebDriverWait
      from selenium.webdriver.support import expected_conditions as EC
      
      options = webdriver.ChromeOptions()
      options.add_argument("start-maximized")
      options.add_argument('disable-infobars')
      options.add_argument("--disable-extensions")
      driver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\WebDrivers\chromedriver.exe')
      driver.get("https://directa.natal.rn.gov.br/")
      WebDriverWait(driver, 10).until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR,"frame[name='mainsystem'][src^='main']")))
      WebDriverWait(driver, 20).until(EC.element_to_be_clickable((By.CSS_SELECTOR, "input.input[name='usuario']"))).send_keys("Tads")
      driver.find_element_by_css_selector("input.input[name='senha']").send_keys("123")
      
  • 浏览器快照:

在这里,您可以找到关于


您可以尝试等待元素未加载到页面。myElem=WebDriverWait(driver,2)。在(EC.presence_of_element_located((By.XPATH,'/*[@id=“senha”])之前,请尝试此代码。我似乎能填这张表,但我不能提交。我试图使用以下代码:``驱动程序。通过css选择器(“button.btn[name='acessar']”查找元素。``单击()``我没有收到任何错误,但它没有提交form@Tads很高兴能帮助你。你能用你的新要求提出一个新问题吗?StackOverflow志愿者会很乐意帮助你。