Python Django应用程序中robots.txt的建议指令是什么？

目前，我的django项目有以下结构

./
../ 
app1/
app2/
django_project
manage.py
media
static
secret_stuff

我的

robots.txt

看起来像这样：

User-agent: *
Allow: /
Sitemap: mysite.com/sitemaps.xml

我想知道以下事情：

我应该向我的

robots.txt

文件，因为django文档对此主题没有任何说明

如何阻止机器人访问（索引）的内容

secret\u stuff

和

mysite.com/admin/

目录

  Disallow: /secret_stuff      (Is that okay ?)
  Disallow: /admin            (Is that okay ?)

---

Robots指令与Django框架无关，这就是为什么在Django文档中找不到关于它的任何信息。通常，在你的网站上搜索允许什么和不允许什么取决于你自己

在Django项目中包含robots.txt有不同的方法。我个人使用的是django robots应用程序，它简化了将robots.txt嵌入项目的方式

没有必要在每个项目中都使用它。如果您觉得更简单，您可以自己渲染txt文件

Django项目的简化robots.txt如下所示：

User-agent: *
Disallow: /*.pdf
Disallow: /*.ppt
Disallow: /*.doc
Disallow: /*.xls
Disallow: /*.txt

User-agent: Yandex
Allow: /events
Allow: /contests
Allow: /schools
Disallow: /admin
Crawl-delay: 3

User-agent: Googlebot
Allow: /events
Allow: /contests
Allow: /schools
Disallow: /admin
Crawl-delay: 3

Host: https://mysite.ru
Sitemap: https://mysite.ru/sitemap.xml

---

为什么要投否决票？请说明原因