Login 如何使用scrapy模拟通过POST请求(编码)完成的登录

Login 如何使用scrapy模拟通过POST请求(编码)完成的登录,login,scrapy,Login,Scrapy,是否可以使用scrapy在网站(如www.eoddata.com)上模拟登录?该网站使用post请求提交登录信息。似乎scrapy本身还不够,像wireshark这样的嗅探工具是必须解决的问题:)是的,但由于表单的动态特性,您可能需要先阅读登录页面,以获得字段和任何CSRF类型字段的确切名称。你会想遵循这样的顺序 用刮刀阅读原始表单页 解析此HTML以获取用户名字段、密码字段的名称以及任何CSRF类型身份验证字段的名称/值 向登录URL发送帖子,用户名字段设置为用户名,密码字段设置为密码,以及在

是否可以使用scrapy在网站(如www.eoddata.com)上模拟登录?该网站使用post请求提交登录信息。

似乎scrapy本身还不够,像wireshark这样的嗅探工具是必须解决的问题:)

是的,但由于表单的动态特性,您可能需要先阅读登录页面,以获得字段和任何CSRF类型字段的确切名称。你会想遵循这样的顺序

  • 用刮刀阅读原始表单页
  • 解析此HTML以获取用户名字段、密码字段的名称以及任何CSRF类型身份验证字段的名称/值
  • 向登录URL发送帖子,用户名字段设置为用户名,密码字段设置为密码,以及在上一步中捕获的任何其他CSRF类型字段
  • 获取响应中的身份验证cookie

  • 查看Firebug的登录,以获取登录URL,并查看字段名称和值是否是动态的。

    Scrapy能够处理POST登录。