Robots.txt，php.ini，将_连接到_database.php，.htaccess

我似乎在任何地方都找不到答案，我是否应该禁止像

/php.ini

这样的配置文件或像

/.htaccess

这样的隐藏文件？那么像

/includes

或

/includes/connect_to_database.php

之类的东西呢

我读过ProWebmasters和其他网站，所以我们不应该

禁止：/*.js$

或

/*.css$

，但几乎所有这些答案都有十年历史了。此外，

robots.txt

的目的是确定什么是索引的，而不是什么是爬网的，不是吗？我的意思是，我们不希望爬虫试图索引我们的

css

和

js

文件

即使是谷歌自己关于机器人的

robots.txt

文档似乎也没有涵盖这些内容。有人知道网络上与此相关的信息资源吗

---

感谢

在web浏览器和搜索蜘蛛（例如Google Bot）中呈现整个页面所需的文件应该在robots.txt文件中提供。允许文件css、js、图像jpg、jpeg、png、字体

---

由PHP（include（）和require（）、例如connect_to_database.PHP）和配置（PHP.ini）加载的文件对公众来说应该是不可访问的，并且在.htaccess文件中被阻止。

如果这些文件是可公开访问的，那么您就有一个巨大的安全问题。@johncode这不是关于SEO或优化的具体问题，而不是简单地将网站编入索引