Seo Liferay robots.txt新品消失

我试图从搜索引擎中排除所有liferay测试环境。 新行正在消失，\r\n或\n因为分隔符也不工作

这是我的机器人文件：

User-agent: *
Disallow: /

这是我的web.xml代码段：

<filter>
      <filter-name>RobotKiller</filter-name>
      <filter-class>com.robot.kill.KillARobot</filter-class>
</filter>

<filter-mapping>
      <filter-name>RobotKiller</filter-name>
      <url-pattern>/robots.txt</url-pattern>
</filter-mapping>

---

我想我知道问题是什么。此文件上的设置不正确。当内容类型应设置为

text/plain

时，您将其设置为

text/html

当您在浏览器中查看文件时，它会解释为HTML，将新行视为空格。您应该能够使用浏览器的“查看源”功能查看其格式是否正确

---

robots.txt文件可能适用于搜索机器人程序，即使标题内容类型不正确，但最好不要冒险。

不确定换行符问题，但robots.txt disallow不正确。它应该是

不允许的：/

一定要防止所有的爬行。你是对的，我在这个问题中写错了。编辑问题我只使用Liferay web界面。进入“站点设置->机器人”并输入两行。我不会调整任何web.xml文本来执行此操作。这对您不起作用吗？它是否在6.0.6中可用，因为我似乎找不到它？谢谢，我不认为这是问题所在，我用wget获取了文件，并用nano和vi打开了它，它也丢失了新行。另外，当我查看页面源代码时，我得到的结果是：用户代理：*不允许：/然而，您仍然可以指导我如何修复HTTP头吗？那可能不是问题所在。您可以通过

curl

：

curl-D-”从命令行中查看内容类型标题的实际内容http://example.com/robots.txt“| grep-i内容类型

User-agent: *Disallow: /