Seo 新的404未找到索引页面将如何影响排名？

我们曾经遇到过这样的情况：我们所有的页面链接都被爬网了，并且还在继续被爬网。页面链接包含“~/{someTerm}/{someOtherTerm}/u p/##/#”

问题是，现在谷歌和MSN机器人都在抓取成千上万个不需要抓取的页面，这给系统造成了压力

因此，我们将分页链接更改为Javascript链接，并删除了所有包含“\uu\p”的URL，因此它们现在将返回一个404-Page Not Found。我们只希望第1页被编入索引，之后可能会有一两页（但现在不用担心）

是否有一种方法可以使用WebMasterTools for Google和MSNBot删除URL中包含“_p”的所有页面，如果有，如何删除

---

谢谢。

我认为你应该在那些你想从搜索引擎中删除的页面中使用

标签

<meta name="robots" content="noindex, nofollow" />

---

使用robots文本文件来定义什么是禁止的：在这种情况下，robots.txt中的“Disallow://*\up”会起作用吗？我会使用

/*\up$

来明确它位于路径的末尾，但是的，应该这样做。注意：通配符对Microsoft和Google有效，但可能不是所有爬虫都有效（对于那些尊重标准robots.txt的人）可能只有专业爬虫支持通配符。如果您可以编辑这些页面，请对所有其他页面使用meta标记。同意，如果可以将meta标记添加到这些页面中，这会更理想，因为所有爬虫都可以理解这一点。

User-agent: *
Disallow: /*___p