Hash 如何使用AJAX在Google上测试我的爬行能力?

Hash 如何使用AJAX在Google上测试我的爬行能力?,hash,web-crawler,Hash,Web Crawler,我已经创建了我的网站,所以 site.com/#/第/var1/ans1/var2/ans2页 映射到 site.com/pages/page.php?var1=ans1&var2=ans2 使用Javascript。我也做到了 site.com?\u转义\u片段\u=/page/var1/ans1/var2/ans2 映射到 site.com/pages/page.php?var1=ans1&var2=ans2 使用PHP,我的网站显然可以通过谷歌抓取。我用GoogleFetch对它进行了测试

我已经创建了我的网站,所以

site.com/#/第/var1/ans1/var2/ans2页

映射到

site.com/pages/page.php?var1=ans1&var2=ans2

使用Javascript。我也做到了

site.com?\u转义\u片段\u=/page/var1/ans1/var2/ans2

映射到

site.com/pages/page.php?var1=ans1&var2=ans2


使用PHP,我的网站显然可以通过谷歌抓取。我用GoogleFetch对它进行了测试,它似乎很有效。然而,我试着测试我的网站的所有其他非谷歌蜘蛛都不能使用谷歌的“转义”技术。我想确保当谷歌蜘蛛进入site.com时,它会看到x,进入site.com?\u转义\u fragment\u=/page并正确抓取它。我有没有办法确保它能抓取我网站上的所有链接并抓取它们?我测试过的测试蜘蛛网站只列出了其中包含域的完整路径的链接,但这是否意味着对于我网站上的所有链接,我必须将整个域放在它们之前?这会毁了我的ajax。

对于“非谷歌蜘蛛”;在Bing网站管理员工具中,页面底部的爬网选项卡-子选项卡爬网设置-上有一个复选框,询问“站点支持AJAX可爬网URL”-URL包括#。如果你还没有检查它,试着设置它,看看Bing是否会抓取你漂亮的URL。这可能也有助于Slurp抓取站点(??)


至于“我能确保它抓取我网站上的所有链接并抓取它们的任何方法”,只要谷歌网站:nameOfYoursite.com,你网站的谷歌索引中的所有URL都会出现在SERP上。

对于“非谷歌蜘蛛”;在Bing网站管理员工具中,页面底部的爬网选项卡-子选项卡爬网设置-上有一个复选框,询问“站点支持AJAX可爬网URL”-URL包括#。如果你还没有检查它,试着设置它,看看Bing是否会抓取你漂亮的URL。这可能也有助于Slurp抓取站点(??)

至于“我能确保它抓取我网站上的所有链接并抓取它们的任何方法”,只要谷歌网站:nameOfYoursite.com,你网站的谷歌索引中的所有URL都会出现在SERP上