Web scraping Scrapy：如果网站被阻止爬行，如何处理

我正在使用Scrapy来抓取一个网站，但我得到了一个404错误。我认为该网站被禁止爬行。我怎样才能绕过它呢？这是我想要爬网的网站

https://tiki.vn/

这就是我得到的结果

---

我的问题是，我发送的请求被网站拒绝，因为它是一个机器人请求。我只需要在请求中添加一个自定义标题，问题就解决了。

网站正在向您发送消息。现在你只需要理解它。我认为它没有显示任何有意义的错误或信息。我已经更新了在抓取网站后得到的结果。你的自定义标题是什么？