Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/317.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 无法使用scrapy创建scrapy德语网站_Python_Scrapy_Pycharm - Fatal编程技术网

Python 无法使用scrapy创建scrapy德语网站

Python 无法使用scrapy创建scrapy德语网站,python,scrapy,pycharm,Python,Scrapy,Pycharm,我正在使用Scrapy进行网页抓取,成功创建了一个蜘蛛,它将抓取整个网站,包括具有相同域的内部链接,我使用了链接提取器来实现这一点。此抓取功能在英语网站上成功运行,但当我尝试抓取德语网站时,它不起作用,回调函数parse_item()不会被调用。如果我将parse_item()更改为parse(),则会删除德国网站域URL,但不会删除内部链接。我该如何解决这个问题 下面是我的代码: class WebSpider(CrawlSpider): name = 'WebSpider'

我正在使用
Scrapy
进行网页抓取,成功创建了一个蜘蛛,它将抓取整个网站,包括具有相同域的内部链接,我使用了链接提取器来实现这一点。此抓取功能在英语网站上成功运行,但当我尝试抓取德语网站时,它不起作用,回调
函数parse_item()
不会被调用。如果我将
parse_item()
更改为
parse()
,则会删除德国网站域URL,但不会删除内部链接。我该如何解决这个问题

下面是我的代码:

class WebSpider(CrawlSpider):

    name = 'WebSpider'
    
     #init function
     def __init__(self, *args, **kwargs):
         #code to accept domain url
         
        WebSpider.rules = [
                Rule(LinkExtractor(unique=True), callback='parse_item', follow=True)
            ]

        super(WebSpider, self).__init__(*args, **kwargs

     def parse_item(self, response):
         #Call back function to work with response

运行脚本时是否出现任何错误?或者它只是运行而没有失败,但没有达到您期望的效果?如果有任何错误,请编辑您的问题并将其添加到中。我没有收到任何错误,我也尝试过放置try-catch块,以查看是否出现任何错误,但在终端中没有错误,它将成功运行。“以下是我的代码”-这真的是全部吗?我无法运行此程序来验证您的结果。@usr2564301这正是我介绍的代码的结构,init()方法为start_url提供域url,并将语言设置为德语。就是这样,我只是想知道为什么德语网站不调用parse_item()方法。