Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/extjs/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Web crawler 如果需要用户名和密码，谷歌如何抓取我的网站页面_Web Crawler_Fetch - Fatal编程技术网
Fatal编程技术网
  • web-crawler/
  • Web crawler 如果需要用户名和密码，谷歌如何抓取我的网站页面

Web crawler 如果需要用户名和密码，谷歌如何抓取我的网站页面

web-crawler

Web crawler 如果需要用户名和密码，谷歌如何抓取我的网站页面,web-crawler,fetch,Web Crawler,Fetch,您好，我正在使用谷歌网站管理员工具中提供的以谷歌身份获取选项，但当我获取某个页面，并将光标停留在提交的结果上时，它会显示我的登录页面，而不是我提交的页面。因此，我想知道谷歌对受密码保护的网站进行爬网是否存在问题，以及是否有任何选项可以将一些爬网脚本附加到我的页面，就像我在使用谷歌分析时所做的那样，刚刚有一个客户希望我解决同样的问题 我相信这就是你想要的： 在这里，你可以给谷歌的爬虫提供用户名和密码（如果需要，甚至更多）。只是一个想法：如果你让谷歌机器人进来，你真的需要登录系统吗？社交网络需要登录

您好，我正在使用谷歌网站管理员工具中提供的以谷歌身份获取选项，但当我获取某个页面，并将光标停留在提交的结果上时，它会显示我的登录页面，而不是我提交的页面。因此，我想知道谷歌对受密码保护的网站进行爬网是否存在问题，以及是否有任何选项可以将一些爬网脚本附加到我的页面，就像我在使用谷歌分析

时所做的那样，刚刚有一个客户希望我解决同样的问题

我相信这就是你想要的：

在这里，你可以给谷歌的爬虫提供用户名和密码（如果需要，甚至更多）。

只是一个想法：如果你让谷歌机器人进来，你真的需要登录系统吗？社交网络需要登录：）