python webcrawler的优秀用户代理

python webcrawler的优秀用户代理,python,web-crawler,user-agent,Python,Web Crawler,User Agent,我正在制作一个python爬虫,我正在考虑一个用户代理 任何人都能想到一个用户代理 或者有人有计划吗 我喜欢“urllib(兼容;owi-bot;+owi.tk/bot)”(这是谷歌机器人重写的) 所以,有人能帮我吗?只要编一个就可以了。如果你的机器人做错了/不好/愚蠢/伟大的事情,你可以联系你。规范见第14.43节(HTTP/1.1) 请不要只是复制一些东西 此外,在爬网Stackoverflow和friends以查找错误链接时: 从第0天开始,使用适当的用户代理字符串设置自己 只要补一个。如

我正在制作一个python爬虫,我正在考虑一个用户代理

任何人都能想到一个用户代理

或者有人有计划吗

我喜欢“urllib(兼容;owi-bot;+owi.tk/bot)”(这是谷歌机器人重写的)


所以,有人能帮我吗?

只要编一个就可以了。如果你的机器人做错了/不好/愚蠢/伟大的事情,你可以联系你。规范见第14.43节(HTTP/1.1)

请不要只是复制一些东西

此外,在爬网Stackoverflow和friends以查找错误链接时:

从第0天开始,使用适当的用户代理字符串设置自己


只要补一个。如果你的机器人做错了/不好/愚蠢/伟大的事情,你就可以联系你。规范见第14.43节(HTTP/1.1)

请不要只是复制一些东西

此外,在爬网Stackoverflow和friends以查找错误链接时:

从第0天开始,使用适当的用户代理字符串设置自己


我想,99.9%的网站及其所有者并不关心UA字符串。@kirilloid:如果你是UA,那么那些关心的网站可能会拒绝你的请求,而他们不是know@alan那么就使用任何流行的UA。那么我应该使用ff UA的crome吗?@kirilloid是的,这是我的观点(我没有很好地阐述:)我想,99.9%的网站及其所有者并不关心UA字符串。@kirilloid:如果你是UA,那么那些关心的网站可能会拒绝你的请求,而他们不是know@alan那么就使用任何流行的UA。那么我应该使用ff UA的crome吗?@kirilloid是的,这是我的观点(我没有很好地阐述:)