Fatal编程技术网
  • python/
  • Python 加载第一页时检测到Selenium刮刀

Python 加载第一页时检测到Selenium刮刀

python selenium web-scraping

Python 加载第一页时检测到Selenium刮刀,python,selenium,web-scraping,Python,Selenium,Web Scraping,我正在努力清理这个网站： 首先，我尝试使用请求库，并从站点得到了以下响应： b'<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"&

我正在努力清理这个网站：

首先，我尝试使用请求库，并从站点得到了以下响应：

b'<html style="height:100%"><head><META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"><meta name="format-detection" content="telephone=no"><meta name="viewport" content="initial-scale=1.0"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"></head><body style="margin:0px;height:100%"><iframe src="/_Incapsula_Resource?CWUDNSAI=20&xinfo=13-8874904-0%200NNN%20RT%281557792003687%20128%29%20q%280%20-1%20-1%20-1%29%20r%280%20-1%29%20B15%284%2c200%2c0%29%20U5&incident_id=787000970007113277-35368596172637725&edet=15&cinfo=04000000" frameborder=0 width="100%" height="100%" marginheight="0px" marginwidth="0px">Request unsuccessful. Incapsula incident ID: 787000970007113277-35368596172637725</iframe></body></html>'
但这也不起作用，我得到了这个结果：

网站怎么能检测到机器人那么快

正如张贴的图片所示，该网站受到Imperva WAF（Web应用程序防火墙）或相关产品的保护

如果你ping这个站点，你会看到所有的请求都通过与Imperva相关的地址

ping www.zocdoc.com
Pinging ux639.x.incapdns.net [45.60.62.232] with 32 bytes of data:
Reply from 45.60.62.232: bytes=32 time=46ms TTL=59
Reply from 45.60.62.232: bytes=32 time=47ms TTL=59
Reply from 45.60.62.232: bytes=32 time=46ms TTL=59
Reply from 45.60.62.232: bytes=32 time=46ms TTL=59
如您所见，pingwww.zocdoc.com通过一个incapdns.net名称空间重定向您，根据，该名称空间归Imperva Inc.所有

至于检测是如何工作的。我相信这个问题已经在下面的帖子中讨论过了：。

谢谢，实际上我解决了这个问题，只是稍微延迟了一下，并再次加载了该站点，但我不确定为什么它会起作用。 
ping www.zocdoc.com
Pinging ux639.x.incapdns.net [45.60.62.232] with 32 bytes of data:
Reply from 45.60.62.232: bytes=32 time=46ms TTL=59
Reply from 45.60.62.232: bytes=32 time=47ms TTL=59
Reply from 45.60.62.232: bytes=32 time=46ms TTL=59
Reply from 45.60.62.232: bytes=32 time=46ms TTL=59