如何在linux（debian）上获取文件访问信息

最近，根据谷歌网站管理员工具，我的Web服务器上的robots.txt文件出现了一些问题。更确切地说，由于robots.txt无法访问，我的爬网被推迟。消息 这很奇怪，因为如果你尝试访问它：它看起来很好，甚至谷歌爬网测试仪也显示没有问题，但真正的谷歌机器人似乎有一些问题

所以，为了找出发生了什么，我想知道，我如何才能看到一个日志文件，或者我可以找到当google机器人试图在x时间访问robots.txt文件时到底发生了什么

第一段只是对我的问题的介绍，我真正的问题是第二段

---

提前感谢。

您的http服务器可能会在/var/log/something中生成日志，其中的内容取决于您使用的服务器。Apache？

我正在使用nginx。这意味着所有与http相关的问题都在/var/log/nginx/errors.log中进行监控？是的，所有错误都应该在那里。例如，如果谷歌机器人有一个404。太好了，这些文件正好包含我需要的内容。谢谢