使用python和xpath进行抓取
我正试图从以下网站上搜集数据: 使用chrome的“检查元件功能”,我能够找到我想要的元件地址:使用python和xpath进行抓取,python,xpath,web-scraping,lxml,Python,Xpath,Web Scraping,Lxml,我正试图从以下网站上搜集数据: 使用chrome的“检查元件功能”,我能够找到我想要的元件地址: //*[@id="p-40"]/div[4]/table/tbody/tr/td[1]/text() 我希望使用这个代码,我能得到文本“9.99%” 但是,输出是一个空数组。我哪里出错了?正如前面所说,页面是动态加载的。比如说硒 首次安装: pip3 install selenium 然后: 现在您可以查询: # With your xpath there are 2 results... r
//*[@id="p-40"]/div[4]/table/tbody/tr/td[1]/text()
我希望使用这个代码,我能得到文本“9.99%”
但是,输出是一个空数组。我哪里出错了?正如前面所说,页面是动态加载的。比如说硒
首次安装:
pip3 install selenium
然后:
现在您可以查询:
# With your xpath there are 2 results...
results = tree.xpath('//*[@id="p-40"]/div[4]/table/tbody/tr/td[1]/text()')
results[1].strip()
'9.99%'
如前所述,页面是动态加载的。比如说硒
首次安装:
pip3 install selenium
然后:
现在您可以查询:
# With your xpath there are 2 results...
results = tree.xpath('//*[@id="p-40"]/div[4]/table/tbody/tr/td[1]/text()')
results[1].strip()
'9.99%'
问题是页面的内容会被动态加载。你应该让自己了解动态网页的概念。你能推荐什么资源吗?没有什么比这更壮观的了。。。只需知道,页面可以加载动态内容,因此可能会变得混乱。您需要一个能够处理javascript的刮板。例如,问题是页面内容被动态加载。你应该让自己了解动态网页的概念。你能推荐什么资源吗?没有什么比这更壮观的了。。。只需知道,页面可以加载动态内容,因此可能会变得混乱。您需要一个能够处理javascript的刮板。例如。