Php 禁用生成post单个URL或防止爬网

假设我有一个名为

XYZ

的帖子类别。我已经在这个类别上发布了3篇不同的帖子

这些措施如下：

1st posts - www.example.com/2015/04/20/1st-posts/
2nd posts - www.example.com/2015/04/20/2nd-posts/
3rd posts - www.example.com/2015/04/20/3rd-posts/

我已经在一个名为

MNO

的页面中显示了它们，但标题无法链接。因此，用户无法看到帖子的单一视图。那很好。但是，通过在浏览器中打开这些URL，我可以将它们视为单个帖子，搜索引擎也可以对这些帖子的URL进行爬网。对于搜索引擎来说，尽管这些帖子的标题在

MNO

页面上是不可点击的，但人们还是会来到这些页面

现在，我的问题是-

我能防止爬行吗？或者

我是否可以删除这些URL，并且

MNO

页面也可以使用帖子内容

哪种方式最好

.htaccess

或任何其他方式

---

注意，事实上，我不能移动到任何自定义帖子类型或自己创建的插件。因为，至少有5000篇文章。

你不能阻止网络爬虫对任何公开可见的内容进行爬网，但你可以礼貌地要求爬虫不要为某些页面编制索引。请仔细阅读。

好的。美好的我会礼貌地说但是，对于5000多页。。。“一个接一个，或者有其他方法可以做。@SamratKhan看看我发布的链接。您可以禁止站点中的整个目录，这样就不必一次创建一个文件。PS，欢迎来到stackoverflow，当您点击我答案右侧的复选标记时，您将获得前2分。