如何使用Selenium/Python获得JavaScript编写的html内容
我正在使用Selenium进行web爬行,我希望在Selenium模拟单击假链接后获得JavaScript编写的元素(例如链接) 我尝试了get_html_source(),但它不包含JavaScript编写的内容 我写的代码:如何使用Selenium/Python获得JavaScript编写的html内容,python,selenium,Python,Selenium,我正在使用Selenium进行web爬行,我希望在Selenium模拟单击假链接后获得JavaScript编写的元素(例如链接) 我尝试了get_html_source(),但它不包含JavaScript编写的内容 我写的代码: def test_comment_url_fetch(self): sel = self.selenium sel.open("/rmrb") url = sel.get_location() #
def test_comment_url_fetch(self):
sel = self.selenium
sel.open("/rmrb")
url = sel.get_location()
#print url
if url.startswith('http://login'):
sel.open("/rmrb")
i = 1
while True:
try:
if i == 1:
sel.click("//div[@class='WB_feed_type SW_fun S_line2']/div/div/div[3]/div/a[4]")
print "click"
else:
XPath = "//div[@class='WB_feed_type SW_fun S_line2'][%d]/div/div/div[3]/div/a[4]"%i
sel.click(XPath)
print "click"
except Exception, e:
print e
break
i += 1
html = sel.get_html_source()
html_file = open("tmp\\foo.html", 'w')
html_file.write(html.encode('utf-8'))
html_file.close()
我使用while循环来单击一系列伪链接,这些伪链接触发js操作来显示额外的内容,而这些内容正是我想要的。但是sel.get\u html\u source()没有给出我想要的
有人可以帮忙吗?非常感谢。您需要使用能够执行Javascript的浏览器引擎,例如。Javascript的更改仅对可以执行Javascript并为要触发的事件提供DOM/运行时的客户端可见
与此关系也非常密切:您不能在selenium环境中调用browser对象吗?例如:
self.browser.find_elements_by_tag_name("div")
应该返回一个div数组。您还可以按类、id等查找
编辑下面是创建“浏览器”对象的代码
from selenium import webdriver #The browser object
self.browser = webdriver.Firefox() #I Use firefox, but can do chrome, IE, and safari i believe
然后,您应该能够使用
按标记名称查找元素
完成如上所示的操作,因为我通常在获取的节点上进行后处理,我使用执行脚本直接在浏览器中运行JavaScript。例如,要获取所有a标签:
js_code = "return document.getElementsByTagName('a')"
your_elements = sel.execute_script(js_code)
编辑:execute\u script
和get\u eval
是等效的,除了get\u eval
执行隐式返回,在execute\u script
中必须明确说明。请包括您已经编写的代码,并指出它的哪一部分对YouTunks造成了问题,但Selenium RC只是控制一个真正的浏览器,我不能从中得到它吗?很抱歉,我没有给出我的类的全部代码。”self“这里是unittest.TestCase的对象,没有“browser”属性。“sel”是selenium的一个对象,我试过了,但它也没有“browser”。@Friedmann我在帖子中包含了创建browser对象的代码。只需额外的两行即可导入和定义它。享受吧,哦,我明白了。我要试一下,汉克斯。尽管正确的方法是sel.get\u eval(js\u code)
。我发现这解决了你的问题吗?