Javascript robots.txt可以用来防止机器人看到延迟加载的内容吗?
比如说,Javascript robots.txt可以用来防止机器人看到延迟加载的内容吗?,javascript,html,robots.txt,googlebot,Javascript,Html,Robots.txt,Googlebot,比如说,googlebot正在抓取https://example.com/page example.com有一个robots.txt文件,该文件不允许/endpoint用于延迟加载的内容,但允许/page /page延迟加载内容使用/endpoint for lazy-loaded content(通过获取) googlebot看到了延迟加载的内容吗?这个问题似乎离题了,因为它是关于SEO的,而SEO在堆栈溢出时是离题的。请阅读以更好地理解什么时候可以在这里问SEO问题(大多数不是),以及在
googlebot
正在抓取https://example.com/page
有一个example.com
文件,该文件不允许robots.txt
,但允许/endpoint用于延迟加载的内容
/page
延迟加载内容使用/page
(通过/endpoint for lazy-loaded content
)获取
googlebot
看到了延迟加载的内容吗?这个问题似乎离题了,因为它是关于SEO的,而SEO在堆栈溢出时是离题的。请阅读以更好地理解什么时候可以在这里问SEO问题(大多数不是),以及在哪里可以得到帮助。这个问题似乎是离题的,因为它是关于SEO的,在堆栈溢出时是离题的。请阅读,以更好地理解什么时候可以在这里问SEO问题(大多数不是),以及在哪里可以得到帮助。