Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/ruby/21.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何阻止站点中的Watir ruby gem活动?_Ruby_Web Scraping_Screen Scraping_Watir - Fatal编程技术网

如何阻止站点中的Watir ruby gem活动?

如何阻止站点中的Watir ruby gem活动?,ruby,web-scraping,screen-scraping,watir,Ruby,Web Scraping,Screen Scraping,Watir,我是一名网站管理员,我正在试用控制浏览器操作的Watir ruby gem 我知道很多开发人员使用Watir进行测试,但我也看到使用Watir从网站上获取内容 我想知道,作为一个网站管理员,我能发现这样的用法吗?我还可以检测到刮板正在使用Watir吗 还有,我怎样才能停止Watir?我不确定您是否能检测到访问您网站的浏览器背后是否有人或Watir脚本。Watir驱动真正的浏览器,所以用户代理的过滤不会有帮助 如果您有一个工具,允许您实时监控流量,那么您可以检测到大量流量对同一IP的屏幕刮取。然后

我是一名网站管理员,我正在试用控制浏览器操作的Watir ruby gem

我知道很多开发人员使用Watir进行测试,但我也看到使用Watir从网站上获取内容

我想知道,作为一个网站管理员,我能发现这样的用法吗?我还可以检测到刮板正在使用Watir吗


还有,我怎样才能停止Watir?

我不确定您是否能检测到访问您网站的浏览器背后是否有人或Watir脚本。Watir驱动真正的浏览器,所以用户代理的过滤不会有帮助

如果您有一个工具,允许您实时监控流量,那么您可以检测到大量流量对同一IP的屏幕刮取。然后,您可以暂时阻止IP


目前,我想不出任何其他方法来阻止屏幕刮擦。像robots.txt这样的文件只是一种约定,脚本可以忽略它。

我不确定您是否可以检测到浏览器后面是否有人或Watir脚本访问您的站点。Watir驱动真正的浏览器,所以用户代理的过滤不会有帮助

如果您有一个工具,允许您实时监控流量,那么您可以检测到大量流量对同一IP的屏幕刮取。然后,您可以暂时阻止IP


目前,我想不出任何其他方法来阻止屏幕刮擦。像robots.txt这样的文件只是一种约定,脚本可以忽略它。

如果您监视用户的使用情况,您可能会检测到有人刮了您的站点-如果用户做事情非常快,那么它可能是一个机器人


但是,您无法检测刮板是否正在使用Watir或任何其他刮板工具。

如果您监控用户的使用情况,您可能会检测到有人刮板您的站点-如果用户操作速度非常快,则可能是机器人

但是,您无法检测刮刀是否使用Watir或任何其他刮刀