Robots.txt允许URL以某物结尾

我有用户创建的URL，都以/post结尾。我想能够为搜索引擎爬网这些网址。我已禁止所有其他URL。以下是一些例子：

www.website.com/john-smith/my-blog/post
www.website.com/jim-thomas/my-skiing-blog/post
www.website.com/matt-jones/blog-about-gaming/post

---

我该怎么做？谢谢。

解决方案其实非常简单：

Allow: /post$

---

默认情况下，允许对所有内容进行爬网。你阻止了什么吗还要注意robots.txt是关于爬行的，而不是索引。