Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/selenium/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
使用python和selenium进行Web抓取_Python_Selenium_Web Scraping_Data Extraction - Fatal编程技术网

使用python和selenium进行Web抓取

使用python和selenium进行Web抓取,python,selenium,web-scraping,data-extraction,Python,Selenium,Web Scraping,Data Extraction,我正试图从一个使用python和selenium构建的网站中提取数据: <table> <tbody> <tr> <td> text </td> <td> <td> text </td> </td> <td>

我正试图从一个使用python和selenium构建的网站中提取数据:

  <table> 
     <tbody>
         <tr> 
            <td> text </td>
            <td>
               <td> text </td>
            </td> 
            <td> 
               <td> text </td>
            </td>
          <tr>  
            <td> text </td>
            <td>
               <td> text </td>
            </td> 
            <td> 
               <td> text </td>
            </td>
打印(数据)


当我打印数据时,我只是网站中每一行的第一列。网站上的表的结构是这样的:行相互嵌套。有没有人曾经处理过这种格式的网站。除了selenium之外,我还对其他刮刀持开放态度,我只是喜欢将其用于自动化目的。

我认为缩进对于您的程序来说是错误的,应该是错误的-

data=[]
for tr in driver.find_elements_by_xpath('//table[@id="pinnedtablepositionsTable"]//tr'):
    tds =tr.find_elements_by_tag_name('td')
    if tds: 
        data.append([td.text for td in tds])
data=[]
for tr in driver.find_elements_by_xpath('//table[@id="pinnedtablepositionsTable"]//tr'):
    tds =tr.find_elements_by_tag_name('td')
    if tds: 
        data.append([td.text for td in tds])