Python Scrapy用户代理被阻止或不存在';无法在远程服务器上工作

Python Scrapy用户代理被阻止或不存在';无法在远程服务器上工作,python,scrapy,scrapyd,Python,Scrapy,Scrapyd,我正在使用Scrapy2.3和图书馆来刮取一个主要的电子商务网站。当我在本地计算机上运行spider时,scrapy将根据库轮换用户代理,并将刮取我需要的信息,绕过网站阻止scrapy的尝试 当我从AmazonEC2服务器上运行Scrapy时,Scrapy识别Scrapy_fake_useragents库的下载程序。但是,它被阻止了 我不知道本地计算机和远程服务器之间有什么区别吗?电子商务网站可以而且应该有阻止这种行为的实现。他们在找你:)为什么它在我的本地计算机上工作?他们在使用远程服务器时是

我正在使用Scrapy2.3和图书馆来刮取一个主要的电子商务网站。当我在本地计算机上运行spider时,scrapy将根据库轮换用户代理,并将刮取我需要的信息,绕过网站阻止scrapy的尝试

当我从AmazonEC2服务器上运行Scrapy时,Scrapy识别Scrapy_fake_useragents库的下载程序。但是,它被阻止了


我不知道本地计算机和远程服务器之间有什么区别吗?

电子商务网站可以而且应该有阻止这种行为的实现。他们在找你:)为什么它在我的本地计算机上工作?他们在使用远程服务器时是否能识别它?感谢您的快速回复:)我不认为这里的任何人都能给您正确的答案,因为我们不知道该网站的设置或您的环境。实际信息太少,猜测的空间太大。。。我认为,我们需要更多的细节,以便我们能够查明真正的原因。是时候购买代理并使用它们了。一些反机器人服务可以判断源IP地址是来自家庭(住宅IP)还是来自服务器(数据中心IP)。