Python 将robots.txt中的多个用户代理与Scrapy匹配

我是Scrapy的新手，我想知道如何使蜘蛛遵守robots.txt文件中两个或更多用户代理的规则（例如，Googlebot和Googlebot Mobile）

---

我目前使用的是

ROBOTSTXT\u USER\u AGENT

，但该选项仅允许我在robots.txt文件中指定用于匹配的单个用户代理字符串，并且我需要至少匹配两个用户代理。你知道怎么做吗？

我只是用

/

来分离要匹配的用户代理，它起作用了：

"ROBOTSTXT_USER_AGENT": "Googlebot | Googlebot-Mobile | *"

---

我只是使用

/

来分离要匹配的用户代理，它起到了作用：

"ROBOTSTXT_USER_AGENT": "Googlebot | Googlebot-Mobile | *"