Python Scrapy帮助在登录到页面后进行刮削
我正在尝试使用scrapy刮取登录页面后面的表。登录页面是,而我正试图抓取的网页是 我也试着跟随教程,但我没有得到任何回复(甚至连hello world都没有)。下面是我的代码。我还可以提供任何其他需要的信息。提前谢谢你Python Scrapy帮助在登录到页面后进行刮削,python,scrapy,Python,Scrapy,我正在尝试使用scrapy刮取登录页面后面的表。登录页面是,而我正试图抓取的网页是 我也试着跟随教程,但我没有得到任何回复(甚至连hello world都没有)。下面是我的代码。我还可以提供任何其他需要的信息。提前谢谢你 import scrapy class FbgQbSpider(scrapy.Spider): name = 'fbg_qb' allowed_domains = ['www.footballguys.com/'] start_urls = ['ht
import scrapy
class FbgQbSpider(scrapy.Spider):
name = 'fbg_qb'
allowed_domains = ['www.footballguys.com/']
start_urls = ['http://subscribers.footballguys.com/amember/login.php']
def parse(self, response):
return scrapy.FormRequest.from_response(
response,
formdata={'amember_login': 'example@gmail.com', 'amember_pass': 'examplepassword'},
callback=self.after_login
)
def after_login(self, response):
#check login success before going on
View(response)
if "authentication failed" in response.body:
self.logger.error("Login failed")
return
fetch("https://subscribers.footballguys.com/myfbg/myweeklycheatsheet.php")
players = response.css("span::text").extract()
for item in zip(players):
scraped_info = {
'player' : item[0]
}
yield scraped_info
print("hello world")
由于缩进问题,
hello world
未打印