Python scrapy在尝试加载nepalstock.com时出现500个内部服务器错误

当我尝试加载url

http://nepalstock.com/todaysprice

在scrapy shell中，它返回一个500内部服务器错误。为什么这个网站会抛出这样的错误

我已经尝试加载其他站点，所有这些站点都在shell中加载良好。我也尝试过使用http和不使用http来执行它们

scrapy shell 'http://nepalstock.com'

2019-04-07 12:09:41 [scrapy.extensions.telnet] INFO: Telnet console listening on 127.0.0.1:6023
2019-04-07 12:09:41 [scrapy.core.engine] INFO: Spider opened
2019-04-07 12:09:41 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://nepalstock.com/robots.txt> (failed 1 times): 500 Internal Server Error
2019-04-07 12:09:41 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://nepalstock.com/robots.txt> (failed 2 times): 500 Internal Server Error
2019-04-07 12:09:42 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET http://nepalstock.com/robots.txt> (failed 3 times): 500 Internal Server Error
2019-04-07 12:09:42 [scrapy.core.engine] DEBUG: Crawled (500) <GET http://nepalstock.com/robots.txt> (referer: None)
2019-04-07 12:09:42 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://nepalstock.com> (failed 1 times): 500 Internal Server Error
2019-04-07 12:09:42 [scrapy.downloadermiddlewares.retry] DEBUG: Retrying <GET http://nepalstock.com> (failed 2 times): 500 Internal Server Error
2019-04-07 12:09:42 [scrapy.downloadermiddlewares.retry] DEBUG: Gave up retrying <GET http://nepalstock.com> (failed 3 times): 500 Internal Server Error
2019-04-07 12:09:42 [scrapy.core.engine] DEBUG: Crawled (500) <GET http://nepalstock.com> (referer: None)

scrapy shell'http://nepalstock.com'
2019-04-07 12:09:41[scrapy.extensions.telnet]信息：telnet控制台监听127.0.0.1:6023
2019-04-07 12:09:41[刮屑芯发动机]信息：十字轴已打开
2019-04-07 12:09:41[scrapy.DownloaderMiddleware.retry]调试：重试（失败1次）：500内部服务器错误
2019-04-07 12:09:41[scrapy.downloadermiddleware.retry]调试：重试（失败2次）：500内部服务器错误
2019-04-07 12:09:42[scrapy.downloadermiddleware.retry]调试：放弃重试（失败3次）：500内部服务器错误
2019-04-07 12:09:42[刮屑核心引擎]调试：爬网（500）（参考：无）
2019-04-07 12:09:42[scrapy.downloadermiddleware.retry]调试：重试（失败1次）：500内部服务器错误
2019-04-07 12:09:42[scrapy.downloadermiddleware.retry]调试：重试（失败2次）：500内部服务器错误
2019-04-07 12:09:42[scrapy.downloadermiddleware.retry]调试：放弃重试（失败3次）：500内部服务器错误
2019-04-07 12:09:42[刮屑核心引擎]调试：爬网（500）（参考：无）

为什么这个网站会抛出这样的错误

用户代理

标题

许多站点会使用机器人程序常用的用户代理对请求做出错误响应。 是

Scrapy/版本(+https://scrapy.org)

，但您可以为其设置另一个值

$scrapy shell
...
>>>请求=scrapy.Request（
'http://nepalstock.com/todaysprice', 
headers={'User-Agent'：'Mozilla/5.0（X11；Ubuntu；Linux x86_64；rv:66.0）Gecko/20100101 Firefox/66.0'}，
)                                                                                                                                                      
>>>获取（请求）
2019-04-07 12:08:11[scrapy.core.engine]调试：爬网（200）（参考：无）

非常感谢您。它工作>>>req，我能够使用response对象访问页面。