Python 有问题,与刮飞溅脚本。我只得到一个结果,我的scraper不会解析其他页面
我试图解析一个javascript网站的列表。当我运行它时,它只在每列上返回一个条目,然后爬行器关闭。我已经设置了中间件设置。我不确定出了什么问题。提前谢谢Python 有问题,与刮飞溅脚本。我只得到一个结果,我的scraper不会解析其他页面,python,lua,scrapy,scrapy-splash,Python,Lua,Scrapy,Scrapy Splash,我试图解析一个javascript网站的列表。当我运行它时,它只在每列上返回一个条目,然后爬行器关闭。我已经设置了中间件设置。我不确定出了什么问题。提前谢谢 import scrapy from scrapy_splash import SplashRequest class MalrusSpider(scrapy.Spider): name = 'malrus' allowed_domains = ['backgroundscreeninginrussia.com']
import scrapy
from scrapy_splash import SplashRequest
class MalrusSpider(scrapy.Spider):
name = 'malrus'
allowed_domains = ['backgroundscreeninginrussia.com']
start_urls = ['http://www.backgroundscreeninginrussia.com/publications/new-citizens-of-malta-since-january-2015-till-december-2017/']
def start_requests(self):
for url in self.start_urls:
yield SplashRequest(url=url,
callback=self.parse,
endpoint='render.html')
def parse(self, response):
russians = response.xpath('//table[@id="tablepress-8"]')
for russian in russians:
yield{'name' : russian.xpath('//*[@class="column-1"]/text()').extract_first(),
'source' : russian.xpath('//*[@class="column-2"]/text()').extract_first()}
script = """function main(splash)
assert(splash:go(splash.args.url))
splash:wait(0.3)
button = splash:select("a[class=paginate_button next] a")
splash:set_viewport_full()
splash:wait(0.1)
button:mouse_click()
splash:wait(1)
return {url = splash:url(),
html = splash:html()}
end"""
yield SplashRequest(url=response.url,
callback=self.parse,
endpoint='execute',
args={'lua_source': script})
您使用的.extract_first()(now.get())将始终返回第一个结果。它不是迭代器,所以多次调用它是没有意义的。您应该尝试.getall()方法。这将类似于:
names = response.xpath('//table[@id="tablepress-8"]').xpath('//*[@class="column-1"]/text()').getall()
sources = response.xpath('//table[@id="tablepress-8"]').xpath('//*[@class="column-2"]/text()').getall()
非常感谢。这个网站是以一种奇怪的方式编写的,因为它是Javascript,但我无法从这个网站的不同地址获取所有信息。