在Python中分发web爬虫

我是一名Python学习者，我一直在深入阅读本文：

---

有一件事我不明白，我将如何在多台计算机的集群上发展这个程序。这是asyncio库的一部分，还是分布式工件的“独立”部分？

一种可能性是使用外部任务队列。有很多可供选择的，是一个流行的。其基本思想是将作业推送到队列上，在队列中任何数量的工作进程都可以使用它们。对于网络爬虫来说，作业可以像抓取URL一样简单。工作人员将从队列中获取URL，检索它，解析它，并将任何新URL作为新作业添加到队列中

此系统的优点是，工人只是进程，可以通过网络与队列通信，因此您可以在任意数量的机器上拥有任意数量的工人