Solr 如何使用apache nutch防止外部链接爬行？
我只想抓取nutch上的特定域。为此，我将Solr 如何使用apache nutch防止外部链接爬行？,solr,web-crawler,nutch,information-retrieval,external-links,Solr,Web Crawler,Nutch,Information Retrieval,External Links,我只想抓取nutch上的特定域。为此，我将db.ignore.external.links设置为true，如本文所述 问题是nutch开始只抓取种子列表中的链接。例如，如果我将“nutch.apache.org”放在seed.txt中，它只会找到相同的url（nutch.apache.org） 我通过运行深度为200的爬网脚本得到结果。完成一个循环，生成下面的输出 我怎样才能解决这个问题 我正在使用ApacheNutch1.11 Generator: starting at 2016-04-05
db.ignore.external.linksGenerator: starting at 2016-04-05 22:36:16
Generator: Selecting best-scoring urls due for fetch.
Generator: filtering: false
Generator: normalizing: true
Generator: topN: 50000
Generator: 0 records selected for fetching, exiting ...
Generate returned 1 (no new segments created)
Escaping loop: no more URLs to fetch now
致以最诚挚的问候您只想从特定域获取页面 您已经尝试了
db.ignore.external.linksconf/regex urlfilter.txt您只想从特定域获取页面 您已经尝试了
db.ignore.external.linksconf/regex urlfilter.txt要对特定域进行爬网，可以使用regex-urlfiltee.txt文件。在nutch-site.xml中添加以下属性
<property>
<name>db.ignore.external.links</name>
<value>true</value>
<description>If true, outlinks leading from a page to external hosts will be ignored. This is an effective way to limit the crawl to include only initially injected hosts, without creating complex URLFilters. </description>
</property>
db.ignore.external.links
真的
如果为true，则将忽略从页面到外部主机的大纲链接。这是一种有效的方法，可以将爬网限制为仅包括最初注入的主机，而不创建复杂的URLfilter。
<property>
<name>db.ignore.external.links</name>
<value>true</value>
<description>If true, outlinks leading from a page to external hosts will be ignored. This is an effective way to limit the crawl to include only initially injected hosts, without creating complex URLFilters. </description>
</property>
db.ignore.external.links
真的
如果为true，则将忽略从页面到外部主机的大纲链接。这是一种有效的方法，可以将爬网限制为仅包括最初注入的主机，而不创建复杂的URLfilter。