使用selenium和python提取javascript生成的HTML?萤火虫?

使用selenium和python提取javascript生成的HTML?萤火虫?,python,selenium,firebug,web-scraping,selenium-webdriver,Python,Selenium,Firebug,Web Scraping,Selenium Webdriver,这里是Python noobie 我遇到的是一个数据收集问题。我在这个网站上,当我用Firebug检查我想要的元素时,它会显示包含我需要的信息的源。然而,常规的源代码(没有Firebug)没有给我这个信息。这意味着我也不能用普通的selenium HTML抓取来获取数据 我想知道是否有一种方法可以让selenium像Firebug那样抓取这些数据——我猜这是用javascript或jquery加载页面后生成的HTML 这是一张照片: 你可以看到,我想要的信息是“灰显的”,不像那里的大多数其他H

这里是Python noobie

我遇到的是一个数据收集问题。我在这个网站上,当我用Firebug检查我想要的元素时,它会显示包含我需要的信息的源。然而,常规的源代码(没有Firebug)没有给我这个信息。这意味着我也不能用普通的selenium HTML抓取来获取数据

我想知道是否有一种方法可以让selenium像Firebug那样抓取这些数据——我猜这是用javascript或jquery加载页面后生成的HTML

这是一张照片:


你可以看到,我想要的信息是“灰显的”,不像那里的大多数其他HTML。也许这是一个很好的线索,说明这到底是什么样的数据。

尝试使用以下代码,看看它是否有效

import selenium.webdriver.support.ui

element = WebDriverWait(driver, 10).until(
        lambda driver : driver.find_element_by_xpath("fImageMap > area:nth-child(2)")
)

这是python的吗?它告诉我它没有定义。我有“import selenium”和“from selenium import webdriver”,我认为您应该阅读以下问题的答案,它可能会帮助您解决问题。它说webdriverwait没有定义,即使是导入:(顺便说一句,您的字符串arg中缺少了一个双引号,很抱歉,我的selenium测试经验是用Java而不是python进行的。我将在本周末的某个时间尝试在selenium中正确设置它,如果成功,我将发布我的代码。