通过scrapy登录到该站点

我在网站上做了一个官方的视频课程授权。 如果用户名和密码不正确，则转换到回调方法是成功的；如果登录名和密码正确，则转换到回调方法是不可行的。 我的代码： 进口羊瘙痒

class QuotesSpider(scrapy.Spider):
    name = "quotes"
    start_urls = ["https://www.darkorbit.com"]

    def parse(self, response):
        login_url = response.css('form[name="bgcdw_login_form"]::attr(action)').extract_first()
        data = {
            'username': 'testscrapy',
            'password': 'testtest',
        }
        yield scrapy.FormRequest(url=login_url, formdata=data, callback=self.after_login)

    def after_login(self, response):
        print('----------------------------------------')

使用正确的输入数据，获得日志（切割长碎片）：

2017-06-03 22:04:40[scrapy.core.engine]调试：爬网（200）（参考：无）
2017-06-03 22:04:41[刮屑核心引擎]调试：爬网（200）（参考：无）
2017-06-03 22:04:42[刮屑核心引擎]调试：爬网（403）（参考：无）
2017-06-03 22:04:42[scrapy.DownloaderMiddleware.redirect]调试：重定向（302）到
2017-06-03 22:04:42[scrapy.DownloaderMiddleware.redirect]调试：重定向（302）到
2017-06-03 22:04:43[刮屑核心引擎]调试：爬网（200）（参考：无）
2017-06-03 22:04:43[scrapy.downloadermiddleware.robotstxt]调试：robots.txt禁止：

从这一行日志：

2017-06-03 22:04:43 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET https://ru4.darkorbit.com/Pro......>

---

ROBOTSTXT_OBEY=假的，救救我！谢谢

2017-06-03 22:04:43 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET https://ru4.darkorbit.com/Pro......>

ROBOTSTXT_OBEY=False