Web scraping Scrapy FormRequest登录不工作
我正在尝试使用Scrapy登录，但收到了很多“重定向（302）”消息。这种情况发生在我使用真实登录时，也使用假登录信息时。我还尝试了另一个网站，但仍然没有运气Web scraping Scrapy FormRequest登录不工作,web-scraping,scrapy,Web Scraping,Scrapy,我正在尝试使用Scrapy登录，但收到了很多“重定向（302）”消息。这种情况发生在我使用真实登录时，也使用假登录信息时。我还尝试了另一个网站，但仍然没有运气 import scrapy from scrapy.http import FormRequest, Request class LoginSpider(scrapy.Spider): name = 'SOlogin' allowed_domains = ['stackoverflow.com'] login_
import scrapy
from scrapy.http import FormRequest, Request
class LoginSpider(scrapy.Spider):
name = 'SOlogin'
allowed_domains = ['stackoverflow.com']
login_url = 'https://stackoverflow.com/users/login?ssrc=head&returnurl=http%3a%2f%2fstackoverflow.com%2f'
test_url = 'http://stackoverflow.com/questions/ask'
def start_requests(self):
yield Request(url=self.login_url, callback=self.parse_login)
def parse_login(self, response):
return FormRequest.from_response(response, formdata={"email": "XXXXX", "password": "XXXXX"}, callback=self.start_crawl)
def start_crawl(self, response):
yield Request(self.test_url, callback=self.parse_item)
def parse_item(self, response):
print("Test URL " + response.url)
meta = {'dont_redirect': True, 'handle_httpstatus_list':[302]}
默认情况下，Scrapy会尝试在第一个可单击的输入字段（登录页面的搜索表单）中填充您的电子邮件和密码。您需要通过
formnameformidFormRequest.from\u response（response，formid=“login form”，formdata={“email”：“XXXXX”，“password”：“XXXXX”}，callback=self.start\u crawl）