Mysql 定期更新大型数据库

晚上,

我正在构建一个网络爬虫，它将URL保存在一个数据库中，该数据库将有三列：

id (BINGINT,20)    url (VARCHAR,21), indexed (INT,1)
1                  fsdfsdfsdf        1
2                  gfdgfdgfdg        0

爬虫将从网页中提取URL（可能不是唯一的；我只想存储唯一的URL），并将它们存储在数据库中。索引列将记录页面是否已爬网

我的想法是在url列上放置一个唯一的索引，在索引列上放置一个普通索引（因为我需要对此进行查询），以找到需要对哪些url进行爬网。但我可以想象，大约10分钟后，这将变得缓慢

---

有没有人对这种需求有更高效的Db结构的建议？

这听起来像是使用Redis的完美工作？谢谢，我会看看。