Amazon web services 如何在aws cloudfront中更新/替换robots.txt文件
我有一个网站Amazon web services 如何在aws cloudfront中更新/替换robots.txt文件,amazon-web-services,web-crawler,amazon-cloudfront,google-search,robots.txt,Amazon Web Services,Web Crawler,Amazon Cloudfront,Google Search,Robots.txt,我有一个网站www.example.com。所以当我访问robots.txt文件时,比如www.example.com/robots.txt,它会显示SEO团队创建/准备的多行文本 因此,有一个子域assets.example.com指向CloudFront。当我通过CloudFront URL访问robots.txt文件时,比如https://assets.example.com/robtos.txt然后在浏览器中显示以下结果 User-agent: * Disallow: / 因此,有一
www.example.com
。所以当我访问robots.txt文件时,比如www.example.com/robots.txt,它会显示SEO团队创建/准备的多行文本
因此,有一个子域assets.example.com
指向CloudFront。当我通过CloudFront URL访问robots.txt文件时,比如https://assets.example.com/robtos.txt
然后在浏览器中显示以下结果
User-agent: *
Disallow: /
因此,有一个更新AWS CloudFront中robots.txt文件内容的请求,所以https://assets.example.com/robtos.txt
&https://www.example.com/robtos.txt
应显示相同的文本。我没有找到robots.txt放在云端的任何地方
是否可以在cloudfront中更新robots.txt?这里有CloudFront的角色吗?或者我们需要将assets.example.com的robots.txt更新为与example.com相同的配置
请帮帮我。这里我很困惑。您可以指向CloudFront发行版(assets.example.com),然后使用域名
www.example.com
添加一个新的源,然后使用路径模式robots.txt
添加一个新的缓存行为,并将源添加到其中
此设置将请求发送到
assets.example.com/robots.txt
,并将其转发到www.example.com/robots.txt
。使用此选项,您可以删除重复项。您可以通过选项invalidation使缓存无效
您可以执行以下操作:
robots.txt
文件assets.example.com
的来源是什么?在route53assets.example.com
中,它指向CloudFront,而CloudFront指向S3 bucket。所以S3将是源服务器。事实上,我没有这个设置,我是目前公司的新员工。