Security Htaccess使用主机进行实时测试

我会使用主机进行实时测试，但我想保护访问并防止搜索引擎索引。 例如，public_html中的（服务器目录结构）：

_私人
_bin
_cnf
_日志
_ ... （更多默认目录托管）
testpublic
css
图像
index.html


我希望index.html对每个人都是可见的和所有其他目录（除“testpublic”）都是隐藏的，受保护的访问和搜索引擎不进行索引。

“testpublic”目录我希望它是公共的，但在搜索引擎中可能没有索引，不确定这是否可能

要了解我需要2个文件.htaccess。
一个通用于“public_html”，另一个专用于“testpublic”

.htaccess general（public_html）我认为应该是这样的：

AuthUserFile/home/folder../.htpasswd
AuthName“test！”
AuthType Basic
需要用户admin123


满足任何

---

有人能帮我创建具有适当属性的文件吗？谢谢大家!

您可以在根文件夹中使用robots.txt文件。所有遵守标准的机器人将遵守此文件，不会为您的文件和文件夹编制索引

示例Robots.txt，它告诉所有（*）爬虫继续前进，并且没有索引

User-agent: *
Disallow: /

您可以使用.htaccess文件来微调您的服务器（假设Apache）提供的服务以及哪些目录索引是可见的。在这种情况下，您可以添加

IndexIgnore *

添加到.htaccess文件以禁止索引

更新（贷记至）：

如果您想专门停止bot/爬虫程序并了解其用户代理字符串，可以在

.htaccess

<IfModule mod_rewrite.c>
  RewriteEngine on
  RewriteCond %{HTTP_USER_AGENT} Googlebot
  RewriteRule ^.* - [F,L]
</IfModule> 

重新启动发动机
重写cond%{HTTP_USER_AGENT}Googlebot
重写规则^.*-[F，L]

---

希望这能有所帮助。

对于搜索引擎的非索引功能，一个robots.txt就足够了。谢谢你的帮助！