Web 如何在多站点VPS上设置robots.txt

所以我有一个VPS（运行debian）设置来托管我正在处理的许多站点。结构如下：

/var/www/www.website1.com
----------------------------------
/var/www/www.website1.com/htdocs
/var/www/www.website1.com/cgi-bin
/var/www/www.website1.com/logs


/var/www/www.website2.com
----------------------------------
/var/www/www.website2.com/htdocs
/var/www/www.website2.com/cgi-bin
/var/www/www.website2.com/logs

等

我的问题是我应该把robots.txt文件放在哪里。它应该与站点文件一起出现在每个站点的htdocs中。或者我可以在一个位置为整个VPS创建一个master robots.txt文件。我正试图阻止谷歌抓取日志文件夹和网站结构中不需要搜索引擎访问的任何其他文件夹。目前，我似乎做得太过火了，谷歌没有在我的一个网站上为我的index.html以及其中的描述编制索引

---

任何帮助都会很好。

您应该在每个htdocs目录中为每个站点提供一个单独的robots.txt文件。给定的robots.txt文件只适用于加载它的域，因此每个站点都应该有自己的文件。理论上，您可以为所有站点设置一个共享robots.txt文件，但这通常是一个坏主意，因为这使得在一个站点上阻止某些内容而不在所有其他站点上阻止它。

当然，如果您愿意，您也可以为vps设置master robots.txt。如果您这样做，并且当您想要阻止某个文件夹时，您可以通过提供该文件夹的整个路径来阻止它。但建议您为托管vps中的每个网站使用单独的robots.txt

你要求谷歌不要为你的一个网站建立索引，因为你只需检查一下你在哪里阻止了机器人，如果不将该网站添加到谷歌网站管理员工具并验证，谷歌肯定会为你的网站建立索引。对所有网站执行相同的操作，这有助于处理每个网站所有形式的单独记录，即使是在单个VP中

不管怎样，对于未来的服务器需求，请向我的管理员咨询，他会以各种方式帮助我托管网站和应用程序