如何阻止站点中的Watir ruby gem活动?
我是一名网站管理员,我正在试用控制浏览器操作的Watir ruby gem 我知道很多开发人员使用Watir进行测试,但我也看到使用Watir从网站上获取内容 我想知道,作为一个网站管理员,我能发现这样的用法吗?我还可以检测到刮板正在使用Watir吗如何阻止站点中的Watir ruby gem活动?,ruby,web-scraping,screen-scraping,watir,Ruby,Web Scraping,Screen Scraping,Watir,我是一名网站管理员,我正在试用控制浏览器操作的Watir ruby gem 我知道很多开发人员使用Watir进行测试,但我也看到使用Watir从网站上获取内容 我想知道,作为一个网站管理员,我能发现这样的用法吗?我还可以检测到刮板正在使用Watir吗 还有,我怎样才能停止Watir?我不确定您是否能检测到访问您网站的浏览器背后是否有人或Watir脚本。Watir驱动真正的浏览器,所以用户代理的过滤不会有帮助 如果您有一个工具,允许您实时监控流量,那么您可以检测到大量流量对同一IP的屏幕刮取。然后
还有,我怎样才能停止Watir?我不确定您是否能检测到访问您网站的浏览器背后是否有人或Watir脚本。Watir驱动真正的浏览器,所以用户代理的过滤不会有帮助 如果您有一个工具,允许您实时监控流量,那么您可以检测到大量流量对同一IP的屏幕刮取。然后,您可以暂时阻止IP
目前,我想不出任何其他方法来阻止屏幕刮擦。像robots.txt这样的文件只是一种约定,脚本可以忽略它。我不确定您是否可以检测到浏览器后面是否有人或Watir脚本访问您的站点。Watir驱动真正的浏览器,所以用户代理的过滤不会有帮助 如果您有一个工具,允许您实时监控流量,那么您可以检测到大量流量对同一IP的屏幕刮取。然后,您可以暂时阻止IP
目前,我想不出任何其他方法来阻止屏幕刮擦。像robots.txt这样的文件只是一种约定,脚本可以忽略它。如果您监视用户的使用情况,您可能会检测到有人刮了您的站点-如果用户做事情非常快,那么它可能是一个机器人
但是,您无法检测刮板是否正在使用Watir或任何其他刮板工具。如果您监控用户的使用情况,您可能会检测到有人刮板您的站点-如果用户操作速度非常快,则可能是机器人 但是,您无法检测刮刀是否使用Watir或任何其他刮刀