Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/349.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何阻止不同的web爬虫访问基于java的web应用程序?_Java_Web_Web Crawler - Fatal编程技术网

如何阻止不同的web爬虫访问基于java的web应用程序?

如何阻止不同的web爬虫访问基于java的web应用程序?,java,web,web-crawler,Java,Web,Web Crawler,我正在使用基于struts2的web应用程序,希望阻止web爬虫访问我的应用程序。要停止爬虫计算机的请求,您必须知道该计算机的IP地址。 然后,您可以为应用程序创建新过滤器。您可以在筛选器中获取应用程序的任何请求的IP。如果使用爬虫的IP地址进行IP映射。将该请求踢出你的应用程序。 希望对您有所帮助。您可以托管一个最受尊敬的爬虫使用的特定文件robots.txt。看 机器人排除标准,也称为机器人排除标准 协议或robots.txt协议,是建议的约定 协作网络爬虫和其他网络机器人访问所有或 网站的

我正在使用基于struts2的web应用程序,希望阻止web爬虫访问我的应用程序。

要停止爬虫计算机的请求,您必须知道该计算机的IP地址。 然后,您可以为应用程序创建新过滤器。您可以在筛选器中获取应用程序的任何请求的IP。如果使用爬虫的IP地址进行IP映射。将该请求踢出你的应用程序。
希望对您有所帮助。

您可以托管一个最受尊敬的爬虫使用的特定文件
robots.txt
。看

机器人排除标准,也称为机器人排除标准 协议或robots.txt协议,是建议的约定 协作网络爬虫和其他网络机器人访问所有或 网站的一部分,该部分可以公开查看

注意,这不会阻止所有人,但无论如何,这将是非常困难/不可能做到的