Java 如何在ApacheNutch2.x中获取webgraph
我正在使用ApacheNutch2.3.1对一些网站进行爬网。我必须找到爬网数据的WebGraph,但不幸的是,在这个版本中没有像1.x版那样定义类。有人能给我指点一下吗。 以下是2.3.1版的完整命令行选项(但没有webgraph)Java 如何在ApacheNutch2.x中获取webgraph,java,apache,web-crawler,nutch,Java,Apache,Web Crawler,Nutch,我正在使用ApacheNutch2.3.1对一些网站进行爬网。我必须找到爬网数据的WebGraph,但不幸的是,在这个版本中没有像1.x版那样定义类。有人能给我指点一下吗。 以下是2.3.1版的完整命令行选项(但没有webgraph) 不幸的是,Nutch的2.x分支尚未添加此功能,一般来说,我认为1.x分支具有更多功能,性能更好(尽管这正在改变)。如果您需要继续使用2.x,那么我建议您自己实现该功能,或者将links-indexer插件从1.x迁移到2.x(我相信迁移indexer插件会更容易
不幸的是,Nutch的2.x分支尚未添加此功能,一般来说,我认为1.x分支具有更多功能,性能更好(尽管这正在改变)。如果您需要继续使用2.x,那么我建议您自己实现该功能,或者将
links-indexer
插件从1.x迁移到2.x(我相信迁移indexer插件会更容易)。我已经计划好了,但是找不到时间。不幸的是,Nutch的2.x分支尚未添加此功能,一般来说,我认为1.x分支具有更多功能,性能更好(尽管这正在改变)。如果您需要继续使用2.x,那么我建议您自己实现该功能,或者将links-indexer
插件从1.x迁移到2.x(我相信迁移indexer插件会更容易)。我已经计划好了,但是找不到时间
Usage: nutch COMMAND
where COMMAND is one of:
inject inject new urls into the database
hostinject creates or updates an existing host table from a text file
generate generate new batches to fetch from crawl db
fetch fetch URLs marked during generate
parse parse URLs marked during fetch
updatedb update web table after parsing
updatehostdb update host table after parsing
readdb read/dump records from page database
readhostdb display entries from the hostDB
index run the plugin-based indexer on parsed batches
elasticindex run the elasticsearch indexer - DEPRECATED use the index command instead
solrindex run the solr indexer on parsed batches - DEPRECATED use the index command instead
solrdedup remove duplicates from solr
solrclean remove HTTP 301 and 404 documents from solr - DEPRECATED use the clean command instead
clean remove HTTP 301 and 404 documents and duplicates from indexing backends configured via plugins
parsechecker check the parser for a given url
indexchecker check the indexing filters for a given url
plugin load a plugin and run one of its classes main()
nutchserver run a (local) Nutch server on a user defined port
webapp run a local Nutch web application
junit runs the given JUnit test
or
CLASSNAME run the class named CLASSNAME