Mongodb 如何在pymongo中优化抓取项目的更新查询

Mongodb 如何在pymongo中优化抓取项目的更新查询,mongodb,web-scraping,indexing,pymongo,insert-update,Mongodb,Web Scraping,Indexing,Pymongo,Insert Update,如何在pymongo中创建和刷新索引以加快更新查询。 正如文章[1]一节中提到的,下面的代码适用于一小部分条目 self.collection.update({'url': item['url']}, dict(item), upsert=True) 但一旦达到数万,速度就非常缓慢 [1] 在url字段上创建索引 在您的情况下,url将是唯一的,您可以创建一个唯一的索引 注意-如果您有大量现有数据,请在后台创建索引 self.collection.create_index('

如何在pymongo中创建和刷新索引以加快更新查询。 正如文章[1]一节中提到的,下面的代码适用于一小部分条目

    self.collection.update({'url': item['url']}, dict(item), upsert=True)
但一旦达到数万,速度就非常缓慢


[1]

url
字段上创建索引


在您的情况下,
url
将是唯一的,您可以创建一个唯一的索引

注意-如果您有大量现有数据,请在后台创建索引

self.collection.create_index('url')
self.collection.create_index('url', unique = True)