Dotnetnuke Googlebot和Bingbot爬行DNN站点

我有一个超过20000页的DNN网站。Google机器人和Bingbot一直在我的网站上爬行

当我查看我的网站日志时，我可以看到google和bing正在通过pageid（例如：www.url.com/Default.aspx？TabID=5000）对我的网站进行爬网

机器人每分钟都在访问我的网站。当我添加新页面时，我希望机器人会抓取新添加的页面，相反，我看到机器人会重新抓取非常旧的页面，并且需要几个小时才能识别新添加的页面

我有robot.txt文件，其中包含10000多个条目，具有以下防御：

不允许：/Default.aspx？TabID=5000
不允许：/Default.aspx？TabID=5001
不允许：/Default.aspx？TabID=5002

等等

因此，我注意到几个问题：

1-Googlebot和Bingbot正在忽略我的不允许，并正在重新爬网我在robots.txt中定义的页面-bot如何知道使用TabID返回并重新爬网旧页面

2-我仍然注意到，当我添加一个新页面时，两个机器人都忙于抓取旧内容，并且不会立即阅读我的新内容，有没有办法强迫Google和Bing机器人总是先阅读新添加的页面

提前感谢您的建议。

如果您要查看此处列出的页面，请查看

我强烈建议升级到DNN 7，因为您可以控制站点地图中显示的页面，这可能有助于您控制索引问题

---

更新：在“管理”菜单下，如果找到搜索引擎站点地图页面，可以设置站点地图中包含的最低页面优先级。然后，对于您不想显示的页面，您可以在页面设置中修改其优先级。

您使用的是哪个版本的dotnetnuke？您是否正在使用任何站点地图提供商？如果引擎看到您的robots.txt文件，您是否已检查网站管理员工具以进行Dr-使用版本5。-不使用任何站点地图提供程序。-我在webmastertools中查看了它，它正在读取robots.txt文件，问题是它似乎只允许我使用大约100条不允许的行<所以我真的不知道如何告诉机器人不要检查旧页面。我想阻止第20000页以下的任何内容www.url.com/Default.aspx？TabID=20000，我知道我不能向robots.txt添加20k行
有什么建议吗？是否要阻止所有页面ID URL？否，我不想阻止所有页面ID URL。当我发布新页面时，我注意到机器人正忙于扫描旧页面。我希望机器人们把注意力转向新的页面。不确定这是否可行。Chris，我无法升级到新版本，因为此应用程序有所有自定义代码。我查看了sitemap.aspx，看到了数千页。有没有办法让我选择在这个版本的站点地图上显示哪些页面？使用infoChris更新了答案，感谢您的回答，在搜索引擎站点地图页面中有一个默认值为0.1的“排除优先级低于”选项。我更新了网站地图上所有不需要的页面，优先级为0。我会在接下来的几天内确认这是有效的。谢谢因此，经过几天的测试，我注意到sitemap.aspx仍在加载超过20k个指向内部页面的链接。我还可以限制这一页的大小吗？