Proxy 通过代理进行Web抓取

Proxy 通过代理进行Web抓取,proxy,web-scraping,server,web-crawler,bots,Proxy,Web Scraping,Server,Web Crawler,Bots,我目前正在使用网络抓取工具(Octoparse)从一些网站中提取信息。以前,我能够使用代理来提取信息。我无法使用自己的IP地址,因为在提取了一些项目后,我会被屏蔽。最近,该网站似乎阻止了代理访问该网站(见下面的屏幕截图)。我当然可以找到其他的网站,但它们没有这个好。我能知道有什么办法吗 PS:我是一名学生,只想提取信息制作学习用的闪卡,没有任何恶意。我注意到你提到过。据我所知,Octoparse提供IP代理。但是,在不同版本中使用IP代理是完全不同的。您应该在文本框中手动添加您拥有的IP代理,

我目前正在使用网络抓取工具(Octoparse)从一些网站中提取信息。以前,我能够使用代理来提取信息。我无法使用自己的IP地址,因为在提取了一些项目后,我会被屏蔽。最近,该网站似乎阻止了代理访问该网站(见下面的屏幕截图)。我当然可以找到其他的网站,但它们没有这个好。我能知道有什么办法吗


PS:我是一名学生,只想提取信息制作学习用的闪卡,没有任何恶意。

我注意到你提到过。据我所知,Octoparse提供IP代理。但是,在不同版本中使用IP代理是完全不同的。您应该在文本框中手动添加您拥有的IP代理,而如果您使用标准版或专业版,Octoparse将提供500多个第三方代理以进行自动IP轮换。因此,如果您自己没有IP代理,我建议您使用标准版。如果您想了解更多信息,您可以按照教程了解更多信息。

这是一个非常困难的问题。根据保护措施的类型,你可能运气不好。你需要做的事情太多了。