Web scraping 如何设置刮擦设置？

我当时正在阅读一些粗糙的文档，但对“指定设置”部分感到困惑。有人能用简单的英语描述一下如何实施设置吗？我最初以为这只是对settings.py进行修改，但事实似乎并非如此。我试图做一个下载延迟，因为我从网站上我刮被阻止。谢谢

嗯，描述有点混乱，但您是对的：settings.py是添加设置的正确文件。但是，有两种设置可以并行工作：

下载延迟

和

每个域的并发请求

。对于后者，默认值为8。所以我会覆盖这两个，它应该会工作

要了解有关某些默认并发设置的更多信息，请参阅文档：