Seo 如何自定义DNN robots.txt以允许搜索引擎对特定于模块的站点地图进行爬网？

我正在使用EasyDNN新闻模块在我们的DNN网站上发布博客、新闻文章等。核心DNN站点地图不包括此模块生成的文章，但模块会创建自己的站点地图

例如： domain.com/blog/mid/1005/ctl/sitemap

当我试图向谷歌提交这个网站地图时，它说我的Robots.txt文件阻止了它

查看DNN附带的Robots.txt文件，我注意到Slurp和Googlebot用户代理下有以下行：

Disallow: /*/ctl/       # Slurp permits *
Disallow: /*/ctl/       # Googlebot permits *

我想提交模块的站点地图，但我想知道为什么这些用户代理不允许使用/ctl，如果我只是从文件中删除这些行，会有什么影响？具体来说，因为它涉及到谷歌抓取网站

作为补充参考，我阅读了下面的文章，内容是关于通过禁止包含/ctl的特定url（如登录、注册、条款等）来避免重复内容惩罚。我想知道这是否就是DNN刚刚禁止任何包含/ctl的url的原因

---

正确的方法是使用DNN站点地图提供程序，作为模块开发人员，这非常容易做到

我没有关于它的博客文章/教程，但我有可以在中找到的示例代码

这将允许自定义模块将自己的信息添加到DNN站点地图

不允许/CTL的原因是，加载登录/注册/配置文件控件的正常方式是执行site？CTL=Login，而这通常不是人们希望索引的内容

---

另一个选项是编辑robots.txt文件。

EasyDNN告诉我，他们现在将在未来的版本中从站点地图url中删除/ctl，但听起来你的第一个建议是最好的方法。至于编辑robots.txt文件，我是否可以删除*/ctl通配符行，然后不允许登录、注册等的特定URL？是的，您现在可以采用这种方法