Python 无法使用scrapy创建scrapy德语网站
我正在使用Python 无法使用scrapy创建scrapy德语网站,python,scrapy,pycharm,Python,Scrapy,Pycharm,我正在使用Scrapy进行网页抓取,成功创建了一个蜘蛛,它将抓取整个网站,包括具有相同域的内部链接,我使用了链接提取器来实现这一点。此抓取功能在英语网站上成功运行,但当我尝试抓取德语网站时,它不起作用,回调函数parse_item()不会被调用。如果我将parse_item()更改为parse(),则会删除德国网站域URL,但不会删除内部链接。我该如何解决这个问题 下面是我的代码: class WebSpider(CrawlSpider): name = 'WebSpider'
Scrapy
进行网页抓取,成功创建了一个蜘蛛,它将抓取整个网站,包括具有相同域的内部链接,我使用了链接提取器来实现这一点。此抓取功能在英语网站上成功运行,但当我尝试抓取德语网站时,它不起作用,回调函数parse_item()
不会被调用。如果我将parse_item()
更改为parse()
,则会删除德国网站域URL,但不会删除内部链接。我该如何解决这个问题
下面是我的代码:
class WebSpider(CrawlSpider):
name = 'WebSpider'
#init function
def __init__(self, *args, **kwargs):
#code to accept domain url
WebSpider.rules = [
Rule(LinkExtractor(unique=True), callback='parse_item', follow=True)
]
super(WebSpider, self).__init__(*args, **kwargs
def parse_item(self, response):
#Call back function to work with response
运行脚本时是否出现任何错误?或者它只是运行而没有失败,但没有达到您期望的效果?如果有任何错误,请编辑您的问题并将其添加到中。我没有收到任何错误,我也尝试过放置try-catch块,以查看是否出现任何错误,但在终端中没有错误,它将成功运行。“以下是我的代码”-这真的是全部吗?我无法运行此程序来验证您的结果。@usr2564301这正是我介绍的代码的结构,init()方法为start_url提供域url,并将语言设置为德语。就是这样,我只是想知道为什么德语网站不调用parse_item()方法。