Python 为什么Scrapyd scheuled spider在尝试抓取站点时遇到503？

我正在学习python和scraping，并用它编写了我的第一个spider。当我在本地运行它来刮我的测试时，它工作得很好。我在年在远程服务器上部署了该项目，但当我计划spider在测试站点上运行时，它总是返回503。 起初我以为我的服务器IP是防火墙，但后来我改变了IP。 我试图欺骗我的用户代理来模仿我的一个浏览器，但没有效果。 我不确定我还能尝试什么，因为这对我来说是一个新的领域，但任何一位指挥员都将不胜感激。 编辑： spider日志的相关输出：

2017-07-28 18:49:45 [scrapy.core.engine] INFO: Spider opened
2017-07-28 18:49:45 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-07-28 18:49:45 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-07-28 18:49:45 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET https://pieces-auto.oscaro.com/batterie-2585-g> (failed 1 times): 503 Service Unavailable
2017-07-28 18:49:45 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET https://pieces-auto.oscaro.com/batterie-2585-g> (failed 2 times): 503 Service Unavailable
2017-07-28 18:49:45 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET https://pieces-auto.oscaro.com/batterie-2585-g> (failed 3 times): 503 Service Unavailable
2017-07-28 18:49:45 [scrapy.core.engine] DEBUG: Crawled (503) <GET https://pieces-auto.oscaro.com/batterie-2585-g> (referer: None)
2017-07-28 18:49:45 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <503 https://pieces-auto.oscaro.com/batterie-2585-g>: HTTP status code is not handled or not allowed
2017-07-28 18:49:45 [scrapy.core.engine] INFO: Closing spider (finished)
2017-07-28 18:49:45 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/request_bytes': 829,
 'downloader/request_count': 3,
 'downloader/request_method_count/GET': 3,
 'downloader/response_bytes': 62411,
 'downloader/response_count': 3,
 'downloader/response_status_count/503': 3,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2017, 7, 28, 16, 49, 45, 953027),
 'httperror/response_ignored_count': 1,
 'httperror/response_ignored_status_count/503': 1,
 'log_count/DEBUG': 5,
 'log_count/INFO': 9,
 'memusage/max': 81936384,
 'memusage/startup': 81936384,
 'response_received_count': 1,
 'retry/count': 2,
 'retry/max_reached': 1,
 'retry/reason_count/503 Service Unavailable': 2,
 'scheduler/dequeued': 3,
 'scheduler/dequeued/memory': 3,
 'scheduler/enqueued': 3,
 'scheduler/enqueued/memory': 3,
 'start_time': datetime.datetime(2017, 7, 28, 16, 49, 45, 639361)}

2017-07-28 18:49:45[刮屑核心引擎]信息：蜘蛛打开
2017-07-28 18:49:45[scrapy.extensions.logstats]信息：爬网0页（0页/分钟），爬网0项（0项/分钟）
2017-07-28 18:49:45[scrapy.extensions.telnet]调试：telnet控制台监听127.0.0.1:6023
2017-07-28 18:49:45[scrapy.DownloaderMiddleware.retry]调试：重试（失败1次）：503服务不可用
2017-07-28 18:49:45[scrapy.downloadermiddleware.retry]调试：重试（失败2次）：503服务不可用
2017-07-28 18:49:45[scrapy.DownloaderMiddleware.retry]调试：放弃重试（失败3次）：503服务不可用
2017-07-28 18:49:45[scrapy.core.engine]调试：爬网（503）（参考：无）
2017-07-28 18:49:45[scrapy.spidermiddleware.httperror]信息：忽略响应：HTTP状态代码未处理或不允许
2017-07-28 18:49:45[刮屑芯发动机]信息：关闭卡盘（已完成）
2017-07-28 18:49:45[scrapy.statscollectors]信息：倾销scrapy统计数据：
{'downloader/request \'u字节：829，
“下载程序/请求计数”：3，
“下载程序/请求方法\计数/获取”：3，
“downloader/response_字节”：62411，
“下载程序/响应计数”：3，
“下载器/响应\状态\计数/503”：3，
“完成原因”：“完成”，
“完成时间”：datetime.datetime（2017,7,28,16,49,45953027），
“httperror/response\u忽略\u计数”：1，
“httperror/response\u ignored\u status\u count/503”：1，
“日志计数/调试”：5，
“日志计数/信息”：9，
“memusage/max”：81936384，
“memusage/startup”：81936384，
“响应\u已接收\u计数”：1，
“重试/计数”：2，
“重试/达到最大值”：1，
“重试/原因\u计数/503服务不可用”：2，
“调度程序/出列”：3，
“调度程序/出列/内存”：3，
“调度程序/排队”：3，
“调度程序/排队/内存”：3，
“开始时间”：datetime.datetime（2017,7,28,16,49,45639361）}

Scrapyd有输出吗/var/log/scrapyd/scrapyd.log？@Dan Dev忘记添加这个。抱歉。您能从远程服务器运行“curl-vv”并得到响应吗？（编辑拿出了协议）@Dan Dev这是curl命令的输出：它太长了，无法粘贴到评论中。它看起来像是在web服务器上进行了某种速率限制和/或浏览器检查，我猜curl输出的标题显示为503。你粘贴的东西和我从我的机器上用curl得到的不一样，这让我觉得在Scrapyd的docsAny输出中可以看到速率限制/var/log/scrapyd/scrapyd.log？@Dan Dev忘记添加这个。抱歉。您能从远程服务器运行“curl-vv”并得到响应吗？（编辑拿出了协议）@Dan Dev这是curl命令的输出：它太长了，无法粘贴到评论中。它看起来像是在web服务器上进行了某种速率限制和/或浏览器检查，我猜curl输出的标题显示为503。你粘贴的东西和我从我的机器上用卷曲得到的东西不同，这让我觉得速率限制可以在文档中看到