Python 使用请求功能下载页面时遇到问题-返回410 html错误代码,但在浏览器中有效

Python 使用请求功能下载页面时遇到问题-返回410 html错误代码,但在浏览器中有效,python,web-scraping,python-requests,Python,Web Scraping,Python Requests,我试着寻找这个-似乎找不到答案 我试着对整个网页做一个非常简单的抓取,这样我就可以找到关键词了。我正在使用以下代码: import requests Website = requests.get('http://www.somfy.com', {'User-Agent':'a'}, headers = {'Accept': '*/*'}) print (Website.text) print (Website.status_code) 当我在浏览器(如chrome或firefox)中访问此网站

我试着寻找这个-似乎找不到答案

我试着对整个网页做一个非常简单的抓取,这样我就可以找到关键词了。我正在使用以下代码:

import requests
Website = requests.get('http://www.somfy.com', {'User-Agent':'a'}, headers = {'Accept': '*/*'})
print (Website.text)
print (Website.status_code)
当我在浏览器(如chrome或firefox)中访问此网站时,它可以正常工作。当我运行python代码时,我只得到结果“Gone”(错误代码410)

我希望能够可靠地输入一系列的网站URL,并提取原始html以查找关键字

问题
1.我做错了什么,我应该如何设置才能在未来获得最大的成功机会。
2.你能给我指点如何着手找出问题所在的指导吗


非常感谢-对于初学者的问题,我很抱歉

您有一个无效的用户代理,但未将其包含在标题中

我已经为您修复了代码-它返回200状态代码

import requests
Website = requests.get('http://www.somfy.com', headers= {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3835.0 Safari/537.36', 'Accept': '*/*'})
print (Website.text)
print (Website.status_code)

您有一个无效的用户代理,但未将其包含在标头中

我已经为您修复了代码-它返回200状态代码

import requests
Website = requests.get('http://www.somfy.com', headers= {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3835.0 Safari/537.36', 'Accept': '*/*'})
print (Website.text)
print (Website.status_code)

由于安全原因,该站点极有可能检测到您试图自动访问该站点并阻止您的尝试。看看这个站点,它似乎也在使用ajax或类似技术异步加载页面。您可能需要像Selenium这样的浏览器自动化工具,而不是requestsHi@G.Anderson,谢谢您的回复!忽略网站使用的安全性,像Selenium这样的浏览器自动化工具是否能够加载普通浏览器可以加载的所有内容?Selenium创建了一个实际的浏览器,它可以像用户访问页面一样完全加载页面,即使是异步加载的。如果他们检测到自动化,他们可能仍然会阻止它,但这是一个单独的问题。网站极有可能检测到你试图自动访问它,并出于安全原因阻止了你的尝试。看看这个站点,它似乎也在使用ajax或类似技术异步加载页面。您可能需要像Selenium这样的浏览器自动化工具,而不是requestsHi@G.Anderson,谢谢您的回复!忽略网站使用的安全性,像Selenium这样的浏览器自动化工具是否能够加载普通浏览器可以加载的所有内容?Selenium创建了一个实际的浏览器,它可以像用户访问页面一样完全加载页面,即使是异步加载的。如果检测到自动化,他们可能仍然会阻止它,但这是一个单独的问题question@FromeCoder欢迎你:)如果我的答案解决了你的问题,请接受我的答案(左边的绿色复选标记)@fromcoder欢迎你:)如果我的答案解决了你的问题,请接受我的答案(左边的绿色复选标记)