Drupal 6 在Robots.txt中阻止特定页面

据此,

不允许：/page1/ 所有page1 URL都将被禁止，即page1/foo/bar也将被阻止。 不允许：/page1 只有page1将被阻止，page1/foo/bar将被允许。 但这并没有发生，我怎样才能只阻止page1并允许对page1/foo/bar进行爬网呢

编辑： 实际问题是同一个页面在不同的路径中被爬网两次

---

作为/page和/page/

为什么不添加一个robots元标记呢

<meta name="robots" content="noindex, nofollow, noarchive"/>

---

使用实际问题编辑问题，如果我阻止整个页面，则两个结果都将被删除。现在我想知道规范标签是否会有所帮助