Python请求不';不要再加载网站内容了
我正在使用请求模块从网站检索内容 下面是我使用的代码:Python请求不';不要再加载网站内容了,python,python-requests,Python,Python Requests,我正在使用请求模块从网站检索内容 下面是我使用的代码: try: response = requests.get('http://kat.cr') response.raise_for_status() except Exception as e: print(e) else: return response.text 起初代码工作正常,我可以检索网站源代码,但后来它停止了,我一直收到消息“404客户端错误:找不到url:” 我尝试使用用户代理解决此问题,如下所
try:
response = requests.get('http://kat.cr')
response.raise_for_status()
except Exception as e:
print(e)
else:
return response.text
起初代码工作正常,我可以检索网站源代码,但后来它停止了,我一直收到消息“404客户端错误:找不到url:”
我尝试使用用户代理解决此问题,如下所示:
from fake_useragent import UserAgent
try:
ua = UserAgent()
ua.update()
headers = {'User-Agent': ua.random}
response = requests.get(url, headers=headers)
response.raise_for_status()
except Exception as e:
print(e)
else:
return response.text
但这似乎也不起作用
您能帮我解决这个问题吗?谢谢。我复制了您的代码并运行了1000次。总是有200分,这里也一样。他们是否以限制费率之类的方式阻止了你的ip?这里也一样,效果很好。请尝试在浏览器中打开此url,或使用其他工具,如curl:curl-L kat。crYour代码使用
http:
,但您报告的错误消息包含https:
。它应该是哪一种?它在第一天对我也起作用,但后来它停止了,并且在浏览器中也起作用,所以我不认为他们阻止了我的IPI复制了你的代码并运行了1000次。总是有200分,这里也一样。他们是否以限制费率之类的方式阻止了你的ip?这里也一样,效果很好。请尝试在浏览器中打开此url,或使用其他工具,如curl:curl-L kat。crYour代码使用http:
,但您报告的错误消息包含https:
。它应该是哪一个?它在第一天对我也起作用,但后来它停止了,它在浏览器中也起作用,所以我不认为他们阻止了我的IP