是否可以使用Java crawler crawler4j暂停并恢复爬网?
我已经知道您可以将爬网配置为可恢复 但是否可以使用可恢复功能暂停爬网过程,然后以编程方式恢复爬网?例如,我可以优雅地是否可以使用Java crawler crawler4j暂停并恢复爬网?,java,web-scraping,web-crawler,crawler4j,Java,Web Scraping,Web Crawler,Crawler4j,我已经知道您可以将爬网配置为可恢复 但是否可以使用可恢复功能暂停爬网过程,然后以编程方式恢复爬网?例如,我可以优雅地关闭爬行,使用爬行器的关闭方法,并将可恢复参数设置为真,然后再次开始爬行 它会这样工作吗,因为Resubable参数的主要目的是处理爬行器的意外碰撞。是否有其他或更好的方法来使用crawler4j实现此功能?如果您将参数Resubable设置为true,则Frontier以及DocIdServer将其队列存储在用户定义的存储文件夹中 这适用于崩溃或编程关闭。在这两种情况下,存储文件
关闭
爬行,使用爬行器的关闭方法,并将可恢复参数设置为真
,然后再次开始爬行
它会这样工作吗,因为Resubable参数的主要目的是处理爬行器的意外碰撞。是否有其他或更好的方法来使用crawler4j实现此功能?如果您将参数Resubable设置为
true
,则Frontier
以及DocIdServer
将其队列存储在用户定义的存储文件夹中
这适用于崩溃或编程关闭。在这两种情况下,存储文件夹必须相同
另请参见官方问题跟踪器上的如果将参数Resubable设置为
true
,Frontier
以及DocIdServer
将其队列存储在用户定义的存储文件夹中
这适用于崩溃或编程关闭。在这两种情况下,存储文件夹必须相同
另请参见官方问题跟踪程序