Fatal编程技术网
  • python/
  • Python Urllib2/Beauty soup不刮汤的问题

Python Urllib2/Beauty soup不刮汤的问题

python

Python Urllib2/Beauty soup不刮汤的问题,python,beautifulsoup,urllib2,Python,Beautifulsoup,Urllib2,我对Beautiful soup还很陌生，但我注意到当我运行这段代码时，soup.prettify并没有打印出任何内容。我检查了页面是否正确，但还是没有运气。有什么想法吗 URL = "http://www.whoscored.com/Search/?t=" print "toURL: %s" %(URL) request = urllib2.Request(URL) response = urllib2.urlopen(request) soup = BeautifulSoup(respons

我对Beautiful soup还很陌生，但我注意到当我运行这段代码时，soup.prettify并没有打印出任何内容。我检查了页面是否正确，但还是没有运气。有什么想法吗

URL = "http://www.whoscored.com/Search/?t="
print "toURL: %s" %(URL)
request = urllib2.Request(URL)
response = urllib2.urlopen(request)
soup = BeautifulSoup(response)
print soup.prettify()
您需要更改用户代理以获得响应。
始终使用
print response.info（）


opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
response = opener.open(URL)
soup = BeautifulSoup(response)
print soup.prettify()



这可能是因为
whoscorred.com
不希望web刮取器刮取网站上的数据。研究并确保你在做合法的事情。