Google maps Google maps API robots.txt文件阻止爬网

Google maps Google maps API robots.txt文件阻止爬网,google-maps,seo,robots.txt,googlebot,Google Maps,Seo,Robots.txt,Googlebot,我在我的web应用程序中使用了Google地图、地点、方向javascript API。通过对GoogleAPI进行ajax调用,应用程序根据用户输入加载不同的位置。幸运的是,谷歌最近能够抓取ajax 当我在谷歌网站管理员工具“以谷歌身份获取”功能中检查URL时,响应如下所示 这是谷歌地图api robots.txt文件 谷歌地图api是否阻止了谷歌机器人?在这种情况下,请建议我应该采取什么方法来获取页面内容?我们与谷歌地图支持部门联系,他们认为这是他们这边的一个错误!但是,没有任何关于何

我在我的web应用程序中使用了Google地图、地点、方向javascript API。通过对GoogleAPI进行ajax调用,应用程序根据用户输入加载不同的位置。幸运的是,谷歌最近能够抓取ajax

当我在谷歌网站管理员工具“以谷歌身份获取”功能中检查URL时,响应如下所示

这是谷歌地图api robots.txt文件


谷歌地图api是否阻止了谷歌机器人?在这种情况下,请建议我应该采取什么方法来获取页面内容?

我们与谷歌地图支持部门联系,他们认为这是他们这边的一个错误!但是,没有任何关于何时可以修复的声明。

类似于
if(navigator.userAgent!='Googlebot'){//加载地图和其他东西}或者{//显示地图应该在哪里的图片,或者什么都不做。}
这可能会有帮助,也可能是userAgent我很好奇,如果Googlebot能够访问这些.js文件,会有什么不同吗?它是否执行在它们中找到的代码并对结果内容进行索引/爬网?是的,google bot可以跟踪ajax调用、爬网和索引。如果您在屏幕截图中看到加载按钮被禁用,那么它是通过js完成的。我还有一些其他页面,其中有一些ajax调用,GoogleBot显示的屏幕和用户看到的一模一样。太棒了。现在谷歌地图robots.txt没有阻止爬虫。非常感谢。因为这个拦截器url,它对我不起作用:有什么提示吗?