Python 即使在';用户代理';参数

Python 即使在';用户代理';参数,python,urllib,user-agent,Python,Urllib,User Agent,虽然我在用户代理参数中添加了垃圾值,但下面的代码运行得非常好。我一直在努力通过尝试不同的用户代理参数来解决我的爬行问题,但最终基于以下程序,我意识到用户代理参数似乎对我的程序没有任何影响。怎么会这样 系统:Ubuntu 16.04,python 3.5 import urllib.request req = urllib.request.Request('http://example.com', headers = {'User-Agent': "junkvalues-dsfafew"}) x

虽然我在用户代理参数中添加了垃圾值,但下面的代码运行得非常好。我一直在努力通过尝试不同的用户代理参数来解决我的爬行问题,但最终基于以下程序,我意识到用户代理参数似乎对我的程序没有任何影响。怎么会这样

系统:Ubuntu 16.04,python 3.5

import urllib.request
req = urllib.request.Request('http://example.com', headers = {'User-Agent': "junkvalues-dsfafew"})
x = urllib.request.urlopen(req)      # open the url
sourceCode = x.read() # get the source code
print (str(sourceCode))

在请求的末尾,绝对没有任何东西以任何方式关心用户代理。它的存在有利于您向其发出请求的服务器:它可能希望收集访问者使用的浏览器的统计信息,或者为不支持普通页面所需的某些新技术的较旧浏览器提供页面的替代版本。当然,服务器可能会拒绝使用无法识别的用户代理的请求,但这通常不是一个好主意,因为这会使站点无法使用不寻常的浏览器,或者是一个比网站的编程版本更新的浏览器…

你能问个更具体的问题吗?你说的“对用户代理参数视而不见”是什么意思…提供详细信息编辑我的问题来阐述我面临的问题。谢谢你的全面解释。回答得好,但需要补充的是,有些服务器删除某些
用户代理发生的请求,仅仅是因为它们试图保护自己免受机器人程序/脚本和dos等潜在网络攻击。