Scrapy 痒痒的蜘蛛很慢

我有一个很慢的铲运机。我知道瓶颈不是管道（即bi_管道），因为其他不使用

XMLFeedSpider

的刮板速度非常快。这是我的密码：

class MySpider(XMLFeedSpider):

    custom_settings = {
        'ITEM_PIPELINES': {
            'my.pipelines.bi_pipeline': 400
        }
    }

    start_urls=["http://localhost/my.xml"]

    iterator = 'iternodes'  # This is actually unnecessary, since it's the default value
    itertag = 'DEALER'

    def parse_node(self, response, node):
   
        my_item = Dealer()

        my_item['title'] = node.xpath('TITLE/text()').get()

        # send to pipeline to get stored in database
        yield my_item
        
        # get the sales for each dealer
        yield Request("https://some.domain.com/od/dealers.json?id=" + node.xpath('ID/text()').get(), callback=self.each_sale)

---

我不知道为什么，但这很慢。比如每分钟35件。我应该在哪里进行优化？

已解决。在数据库中的触发器上调用了更新脚本。这是一个清理脚本，我运行它的目标需要大量清理。

解决了。在数据库中的触发器上调用了更新脚本。这是一个清理脚本，我运行它的目标需要进行大量清理。

如果只访问页面会发生什么？也许服务器速度太慢或者限制了你的速度？如果你只是访问页面会发生什么？可能是服务器速度太慢，或者限制了您的速度？