如何阻止不同的web爬虫访问基于java的web应用程序?
我正在使用基于struts2的web应用程序,希望阻止web爬虫访问我的应用程序。要停止爬虫计算机的请求,您必须知道该计算机的IP地址。 然后,您可以为应用程序创建新过滤器。您可以在筛选器中获取应用程序的任何请求的IP。如果使用爬虫的IP地址进行IP映射。将该请求踢出你的应用程序。如何阻止不同的web爬虫访问基于java的web应用程序?,java,web,web-crawler,Java,Web,Web Crawler,我正在使用基于struts2的web应用程序,希望阻止web爬虫访问我的应用程序。要停止爬虫计算机的请求,您必须知道该计算机的IP地址。 然后,您可以为应用程序创建新过滤器。您可以在筛选器中获取应用程序的任何请求的IP。如果使用爬虫的IP地址进行IP映射。将该请求踢出你的应用程序。 希望对您有所帮助。您可以托管一个最受尊敬的爬虫使用的特定文件robots.txt。看 机器人排除标准,也称为机器人排除标准 协议或robots.txt协议,是建议的约定 协作网络爬虫和其他网络机器人访问所有或 网站的
希望对您有所帮助。您可以托管一个最受尊敬的爬虫使用的特定文件
robots.txt
。看
机器人排除标准,也称为机器人排除标准
协议或robots.txt协议,是建议的约定
协作网络爬虫和其他网络机器人访问所有或
网站的一部分,该部分可以公开查看
注意,这不会阻止所有人,但无论如何,这将是非常困难/不可能做到的