Java Crawler4j只访问种子URL

Java Crawler4j只访问种子URL,java,web-crawler,crawler4j,Java,Web Crawler,Crawler4j,我正在使用crawler4j对Rottentomotos网站进行爬网,以提取结构化数据。 我已经设置了所有内容,并且在项目主页上的示例中给出了默认URL,所有内容都正常工作,但当我放置自己的种子时,应用程序只访问我提供的URL。我遗漏了什么吗?最常见的错误是shouldVisit方法总是返回false,因此爬虫程序只访问种子URL

我正在使用
crawler4j
对Rottentomotos网站进行爬网,以提取结构化数据。
我已经设置了所有内容,并且在项目主页上的示例中给出了默认URL,所有内容都正常工作,但当我放置自己的种子时,应用程序只访问我提供的URL。我遗漏了什么吗?

最常见的错误是shouldVisit方法总是返回false,因此爬虫程序只访问种子URL