Wordpress Robots.txt/馈送是否重要？

我有一个关于SEO、Robots.txt和wordpress的问题

下面是my robots.txt的外观：

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /feed
Disallow: /*/feed
Disallow: /wp-login.php
Disallow: /tag
Disallow: /trackback
Disallow: /*?*
Disallow: /archive/
Disallow: /rss/
Disallow: /about/trackback/
Disallow: /wp-register.php

在谷歌网站管理员工具中，我看到这样的URL受到限制：

这是因为我假设不允许/feed，现在真正的文章标题是相同的url，没有“/feed/”

---

我的问题是，正确的URL还会被搜索引擎索引吗？或者我应该从robots.txt中删除它？你觉得robots.txt怎么样？我搜索了一些关于添加内容的提示，最终得出结论，但是当我查看更大的wordpress站点时，它们没有我在robots.txt文件中的一半项目。

提要本身不会被索引，但是如果它们的URL没有在robots.txt文件中被特别阻止，那么其中包含的URL可以被索引

---

只要你所有的博客文章都被编入了索引，其他的东西就可以被屏蔽而不会出现问题。看起来有些被阻止的页面对用户和搜索引擎（即登录页面、trackback页面）没有用处，或者可能存在重复内容问题（即归档、标记页面）。无用的页面应该被完全屏蔽。我会让归档和标签页被爬网，但不会被索引。这样，搜索引擎可以跟踪这些页面上的链接，帮助他们找到你的所有内容。这不能用robots.txt来完成，但是提要本身不会被索引，但是如果它们的URL没有在robots.txt文件中被特别阻止，那么其中包含的URL可以被索引

---

只要你所有的博客文章都被编入了索引，其他的东西就可以被屏蔽而不会出现问题。看起来有些被阻止的页面对用户和搜索引擎（即登录页面、trackback页面）没有用处，或者可能存在重复内容问题（即归档、标记页面）。无用的页面应该被完全屏蔽。我会让归档和标签页被爬网，但不会被索引。这样，搜索引擎可以跟踪这些页面上的链接，帮助他们找到你的所有内容。这不能用robots.txt来完成，但也可以是。

好的，那么帖子URL就可以了，因为它们没有/feed？我会添加这些元标记，这里有一个链接，指向实际的robots.txt www.mugenbits.com/robots.txtook，所以帖子URL会很好，因为他们没有/feed？我将添加这些元标记，这里有一个链接，指向实际的robots.txt www.mugenbits.com/robots.txt