Python 获得谷歌学者首次出版的年份

Python 获得谷歌学者首次出版的年份,python,python-3.x,web-scraping,bs4,google-scholar,Python,Python 3.x,Web Scraping,Bs4,Google Scholar,我正在使用bs4和urllib从Google Scholar中抓取数据。我正在努力争取第一年发表一篇文章。例如,从我试图得到1996年。这可以从条形图中读取,但只能在单击条形图后读取。我已经编写了以下代码,但它打印出了在单击条形图之前可见的年份 from bs4 import BeautifulSoup import urllib.request url = 'https://scholar.google.com/citations?user=VGoSakQAAAAJ' page = urll

我正在使用bs4和urllib从Google Scholar中抓取数据。我正在努力争取第一年发表一篇文章。例如,从我试图得到1996年。这可以从条形图中读取,但只能在单击条形图后读取。我已经编写了以下代码,但它打印出了在单击条形图之前可见的年份

from bs4 import BeautifulSoup
import urllib.request

url = 'https://scholar.google.com/citations?user=VGoSakQAAAAJ'
page = urllib.request.urlopen(url)
soup = BeautifulSoup(page, 'lxml')
year = soup.find('span', {"class": "gsc_g_t"})
print (year)

图表信息是根据不同的请求提供的。在那里,您可以使用以下xpath获得所需的信息:

'//span[@class="gsc_g_t"][1]/text()'
或在汤中:

soup.find('span', {"class": "gsc_g_t"}).text