使用python和selenium进行Web抓取
我正试图从一个使用python和selenium构建的网站中提取数据:使用python和selenium进行Web抓取,python,selenium,web-scraping,data-extraction,Python,Selenium,Web Scraping,Data Extraction,我正试图从一个使用python和selenium构建的网站中提取数据: <table> <tbody> <tr> <td> text </td> <td> <td> text </td> </td> <td>
<table>
<tbody>
<tr>
<td> text </td>
<td>
<td> text </td>
</td>
<td>
<td> text </td>
</td>
<tr>
<td> text </td>
<td>
<td> text </td>
</td>
<td>
<td> text </td>
</td>
打印(数据)
当我打印数据时,我只是网站中每一行的第一列。网站上的表的结构是这样的:行相互嵌套。有没有人曾经处理过这种格式的网站。除了selenium之外,我还对其他刮刀持开放态度,我只是喜欢将其用于自动化目的。我认为缩进对于您的程序来说是错误的,应该是错误的-
data=[]
for tr in driver.find_elements_by_xpath('//table[@id="pinnedtablepositionsTable"]//tr'):
tds =tr.find_elements_by_tag_name('td')
if tds:
data.append([td.text for td in tds])
data=[]
for tr in driver.find_elements_by_xpath('//table[@id="pinnedtablepositionsTable"]//tr'):
tds =tr.find_elements_by_tag_name('td')
if tds:
data.append([td.text for td in tds])