Python 如何抓取403禁止SNS

Python 如何抓取403禁止SNS,python,web-crawler,http-status-code-403,Python,Web Crawler,Http Status Code 403,我正在用python编写的爬虫程序对SNS进行爬虫 它工作了很长一段时间,但几天前,从我的服务器获得的网页被禁止 我试图更改cookie、更改浏览器、更改帐户,但都失败了 而且似乎被禁止的服务器都在同一网段中 我能做什么?窃取他人的ip?== thx很多次看起来您在该子网的路由器级别被列入黑名单,可能是因为您(或子网中的其他人)违反了使用条款、robots.txt、站点地图中指定的最大爬网频率或类似的规定 解决方案不是技术性的,而是社会性的:联系网站管理员,适当道歉,了解你(或你的同事)到底做错

我正在用python编写的爬虫程序对SNS进行爬虫

它工作了很长一段时间,但几天前,从我的服务器获得的网页被禁止

我试图更改cookie、更改浏览器、更改帐户,但都失败了

而且似乎被禁止的服务器都在同一网段中

我能做什么?窃取他人的ip?==


thx很多次

看起来您在该子网的路由器级别被列入黑名单,可能是因为您(或子网中的其他人)违反了使用条款、robots.txt、站点地图中指定的最大爬网频率或类似的规定


解决方案不是技术性的,而是社会性的:联系网站管理员,适当道歉,了解你(或你的同事)到底做错了什么,令人信服地承诺不再这样做,再次道歉,直到他们删除黑名单。如果你能给那个站长任何理由为什么他们应该让你对那个网站进行爬网(例如,你的爬网提供了一个搜索引擎,可以给他们带来流量,或者类似的东西),那就更好了!)

你认为错误403禁止意味着什么?你的机器人应该表现良好。如果您试图绕过规则,那么您可能也忽略了robots.txt,这也会给其他人带来问题。行为端正、道德高尚对每个人都是最好的。是的,被列入黑名单。。。我觉得我的行为还不错,因为在他们的纵容下,我已经很久没爬那么快了。也许规则改变了…==我正试图联系wm。。。社会工程,这是一个想法。。。thx~@wdestinyx,好吧,我并不是在暗示任何伪装或操纵意义上的社会工程(经常使用它),只是人类之间的正常社会惯例(当一方做了错事,一方道歉并承诺不再做,另一方随后原谅并避免/停止采取进一步的对策,例如“犯错是人的,宽恕是神的”等等;-)。为什么我觉得你把某个在你网站上爬行的家伙列入了黑名单?只是一种感觉~我会真诚地与网站管理员交谈,并检查我的礼貌:)@wdest,我实际上从来都不是专业的网站管理员/系统管理员,但作为开发人员和开发人员的管理者,我已经开发并管理了网站管理员和系统管理员可以使用的代码的开发(以一种相当自动化的方式,因为他们不能将所有醒着的时间都花在手动黑名单和黑名单的取消上;-)。