Python 刮取被阻止,获取缓冲区读取器的响应

Python 刮取被阻止,获取缓冲区读取器的响应,python,django,selenium,web-scraping,beautifulsoup,Python,Django,Selenium,Web Scraping,Beautifulsoup,所以,我一直在用BeautifulSoup构建一个Django应用程序来抓取一个网站,它在开发过程中工作得非常完美。 然而,随后将web应用部署到linux服务器并运行它,这时请求被阻止,我收到了这个错误 You don't have permission to access "http://www.xxxxxx.com/en-ca?" on this server.<p> Reference #xxxxxxxxxxxxxx 我还尝试了我在网上看到的另一个解决方案,它使用这样一个特

所以,我一直在用BeautifulSoup构建一个Django应用程序来抓取一个网站,它在开发过程中工作得非常完美。 然而,随后将web应用部署到linux服务器并运行它,这时请求被阻止,我收到了这个错误

You don't have permission to access "http://www.xxxxxx.com/en-ca?" on this server.<p>
Reference #xxxxxxxxxxxxxx
我还尝试了我在网上看到的另一个解决方案,它使用这样一个特定的请求

class AppURLopener(urllib.request.FancyURLopener):
    version = "Mozilla/5.0"
def scrape():
   opener = AppURLopener()
   response = opener.open(url)
   print('response: ', response)
这给了我答案

response:  <addinfourl at 139782695145200 whose fp = <_io.BufferedReader name=-1>>
响应:
这是我不明白的

所以我只是需要一些帮助来了解这个反应是什么,以及我如何使用它

此外,我是否应该考虑使用类似Selenium的东西而不是beautifulSoup,因为它可能是一个更好的选择,可以在未被发现的情况下访问该站点

另外,由于在部署时请求仅在linux服务器上被阻止,我是否应该尝试其他部署方式,如heroku

response:  <addinfourl at 139782695145200 whose fp = <_io.BufferedReader name=-1>>