Web scraping 由于reCaptcha的原因,需要手动登录,以便在之后进行web抓取

Web scraping 由于reCaptcha的原因,需要手动登录,以便在之后进行web抓取,web-scraping,phantomjs,recaptcha,headless-browser,slimerjs,Web Scraping,Phantomjs,Recaptcha,Headless Browser,Slimerjs,我想抓住整个网站(写在AngularJS)背后的登录形式与reCaptcha安全。刮板应该从开始,保存页面,然后一遍又一遍地浏览内容中的所有链接。但当我们没有通过身份验证时,网站会将我们重定向到先登录 我曾在IDM(互联网下载管理器)中使用过“站点抓取器”,但它太旧了,我无法理解;它显示了一个脚本错误,因为它无法加载jQuery 另外,我也尝过PhantomJS、SlimerJS和HTTrack,但他们似乎无法向我显示登录表单,等待我手动解决验证码问题

我想抓住整个网站(写在AngularJS)背后的登录形式与reCaptcha安全。刮板应该从开始,保存页面,然后一遍又一遍地浏览内容中的所有链接。但当我们没有通过身份验证时,网站会将我们重定向到先登录

我曾在IDM(互联网下载管理器)中使用过“站点抓取器”,但它太旧了,我无法理解;它显示了一个脚本错误,因为它无法加载jQuery

另外,我也尝过PhantomJS、SlimerJS和HTTrack,但他们似乎无法向我显示登录表单,等待我手动解决验证码问题