有人能告诉我移动代理和网络爬虫的确切区别吗 提前感谢。移动代理是一类代理字符串，用于移动设备上有一个lok at 其中，作为网络爬虫的机器人程序被不同的程序（如搜索引擎）用于索引页面 像谷歌的一个爬虫代理字符串是“DoCoMo/1.0/P502i/c10（谷歌CHTML代理/1.0）” 属于“谷歌（216.239.39.x）代理服务器” 下面是代理字符串的完整列表，包括爬虫、爬行器 编辑 按照你的要求 查看是否有人访问您的站点，然后您检查他的用户代理。如果他使用的是Firefox，你会得到

我正在使用Nutch爬过某个站点（即）。我遵循这一点，它工作得很好，但当我尝试为Nutch注入其他url进行爬网时，我收到了 $ bin/nutch inject urls InjectorJob: starting at 2014-02-04 18:26:18 InjectorJob: Injecting urlDir: urls InjectorJob: org.apache.gora.util.GoraException: java.lang.RuntimeException: org.a

我正在尝试使用Nutch V1.12对大量站点进行爬网，而我对站点的爬网没有问题，我无法像我希望的那样控制爬网。问题主要在于，似乎不可能在每个新主机到达时计算深度的情况下进行爬网。据我所知，爬网脚本中的一轮被认为是爬网的深度。但这意味着在爬网过程中早期发现的站点比之后发现的站点更容易被爬网 有没有办法实现每个站点爬行深度的功能性 问题主要在于，似乎不可能在每个新主机到达时计算深度的情况下进行爬网 正确，深度是从种子开始计算的，不管URL在特定站点中的位置如何 据我所知，爬网脚本中的一轮被认为是爬

当storm crawler重新访问之前已获取的网站时，它会更新elasticsearch索引中的相应文档。即，旧内容被新内容覆盖 是否有任何stormcrawler功能允许我们保留某些字段的旧版本并使用时间戳对其进行注释 我们研究了elasticsearch滚动api和摄取管道。摄取管道看起来有望在更新操作中修改elasticsearch文档。有没有办法通过stormcrawler配置将管道参数（即？pipeline=xxx）附加到相关elasticsearch请求中？一个选项可以是使用URL

我在使用HtmlUnit[see]，遇到了一个奇怪的问题： 我试图调用一个页面，单击一个按钮并检索下一个页面。 它工作得很好，但有时在我尝试为检索到的页面中的字段设置value属性时，它会与ElementNotFoundException发生冲突 我尝试添加睡眠（1000），但没有帮助 有什么想法吗？尝试添加ElementNotFoundException捕获，并在发生时将page.toXml（）打印到控制台。很可能您没有获得您认为正在获得的页面。这相当于您使用web浏览器在网页上单击按钮时，由

试着读懂Scrapy的代码。scaper、crawler和spider这三个词令人困惑。比如说 scrapy.core.scraper scrapy.crawler scrapy.spiders 有人能解释一下这些术语在Scrapy语境中的含义和区别吗？提前感谢。Crawler（scrapy.Crawler）是scrapy API的主要入口点。它提供了对所有Scrapy核心组件的访问，并用于将扩展功能挂钩到Scrapy中 Scraper（scrapy.core.Scraper）组件负责解析响应

我在mysql中存储URL，在lucene中存储索引数据。我在使用tomcat的多台机器上运行storm crawler作为应用服务器。我真的需要zookeeper、nimbus和storm在服务器之间分发URL（来自mysql）吗 问：我是否需要一个Storm群集来运行StormCrawler 答：没有。它可以在本地模式下运行，并且只使用Storm库作为依赖项。不过，在伪分布式模式下安装Storm是有意义的，这样您就可以使用它的UI来监视拓扑 另请参见嗨，请一次问一个问题。您同时询问了Stor

假设我有一个网站。我真的很想让机器人看到主页，但任何其他页面都需要阻止，因为这对蜘蛛来说毫无意义。换句话说 应允许，但 而且应该被封锁 此外，如果我可以允许某些查询字符串传递到主页，那就太好了： 但不是 基本机器人.txt： Disallow: /subdir/ 我不认为你可以创建一个表达“除了根以外的一切”，你必须填写所有的子目录 robots.txt中也不可能存在查询字符串限制。您必须在后台代码（处理部分）中完成，或者可能使用服务器重写规则 Disallow: * Allow: inde

假设我们在web上放置了一个文件，如果您知道直接URL，该文件可以公开评估。没有指向文件的链接，服务器上的目录列表也已被禁用。因此，尽管它是可公开访问的，但除了键入指向该文件的确切URL之外，无法访问该页面。任何类型的网络爬虫（好的或恶意的）通过对该文件进行爬网然后索引来定位该文件的可能性有多大 对我来说，即使它是公开访问的，也需要运气或找到文件的具体知识。就像把金子埋在后院，让人在没有地图或知道有东西埋在那里的情况下找到金子一样 我只是看不出有任何其他方式可以发现它，但这就是为什么我要问sta

我目前急需新闻文章来测试LSI实现（它是用外语编写的，所以没有现成的文件包） 所以我需要一个给定起始url的爬虫程序，比如说，跟踪所有包含的链接并将其内容保存到.txt文件中，如果我们能将格式指定为UTF8，我将非常高兴 我在这方面的专业知识为0，因此我请求您提供一些建议，让爬虫用于此任务。您正在寻找的是一个“刮板”，您必须编写一个。而且，你们可能会像任何人关心的那个样违反法律 您可以使用wget抓取站点。然后通过一些HTML呈现程序运行它（Lynxtext browser使用--dump HT

我想浏览一个网站。它的robots.txt文件中包含以下内容，但我不确定他们不希望我做什么： User-agent: * Disallow: /click 没有单击子目录。或者他们不希望我访问通常需要单击的任何内容（例如通过表单提交数据）？在任何情况下，它们都不会让事情变得简单——主页的表单会进入一个设置cookie的站点，该cookie会被第三个页面读取。这意味着任何机器人都不应该抓取路径以字符串单击开头的URL 例如，应阻止以下URL： example.com/点击 example.co

如果一个网站有一个如果没有人登录就看不到的内容，那么谷歌怎么看呢 该页面是一个电子商务、受限访问（用户必须登录才能查看产品）页面；这样谷歌就看不到这些产品了 处理此问题的正确策略是什么？您可以使用提供的用户代理标题来检测Google机器人是否正在访问您的站点，并将其作为登录的普通用户进行处理。这在phpBB之类的程序中实现（在该程序中作为一个特殊的可见性选项） 该解决方案的缺点是，您不能依赖提交的用户代理标题，因为它很容易将精心编制的标题发送到站点，使您看起来像谷歌机器人（有一些扩展，例如为Fi

我是个新手，最近遇到了一个问题。我的目标是在一个论坛中抓取线程，其中包括每个线程中的所有帖子。这是代码，相当粗糙：） 该代码适用于一个线程页面。然而，一些帖子很多的帖子包含了几个页面。我可以收集某个帖子的所有帖子的url。是否有一种方法可以请求所有这些页面，使用get_posts解析它们，并将所有positem填充到线程['posts'] 希望有人能帮助我！提前感谢。您可以在parse_thread函数中创建新请求，并使用meta: def parse_thread(self, respons

道歉，如果这是一个太无知的问题或以前被问过。粗略一看，没有发现任何与此完全匹配的东西。问题是：我如何下载谷歌索引的所有Word文档？这将是一项艰巨的任务，确实要做的手。。。谢谢你的指点。恐怕没有合法的方法。以前Google为他们的websearch提供了一个SOAP API，但是。它限制每天查询1000次 目前谷歌提供了一个搜索引擎，但它没有为您提供解决方案，因为最大的结果集包含8个结果 最后，还有一个标准webform，它禁止以编程方式进行查询。（还有一个限制，谷歌只返回前一千个结果，你看不到

Nutch可用于： 创建一个web服务，我可以给它提供一个URL列表（这些URL可以成批提供上万个）--这可以是一个围绕命令行的简单包装器 反复检查作业是否完成——这可能是命令行的简单包装 作为回报：获取一个包含转储html页面的数据集——这可以是一个围绕命令行的简单包装器 是的，您可以使用ApacheNutch来实现这一点 看看Nutch REST API[0]（正在开发中），它可以让您将Nutch作为服务启动，通过HTTP调用提供URL，监视作业的完成情况，然后将数据转储回 [0]是的，您可

我有一份500家公司的名单。我需要知道每个名字出现在特定网站上的次数。这不是为了搜索引擎优化，而是为了看看Stackoverflow上是否提到了具体的名字 谢谢 T您需要编写一个网络爬虫，正如您为问题选择的标记所暗示的那样。有几种语言/框架自然适合这种情况 我自己也喜欢使用Ruby进行web爬行应用程序。我的宝石包包括 Mechanize Nokogiri Anemone Mechanize允许您通过编程方式单击页面元素，如表单提交按钮或分页链接。Nokogiri将允许您使用XML解析页面的元

Common Crawl是一个非盈利的第三方web搜索引擎 我看到了一个API来搜索给定域的公共爬网 如何搜索给定搜索词的通用爬网 当前无法搜索网页内容。有使用CC数据集的commonsearch，但我不确定它是否最新。 如果您正在寻找一组有限的关键字，您可以使用Mapreduce或Spark来过滤页面，但如果您正在处理一组开放的或任意的查询，那么最好的方法是将数据集索引到Elasticsearch或SOLR中。您当前无法搜索网页的内容。有使用CC数据集的commonsearch，但我不确定它是

elasticsearch 让StormCrawler从网页中检索更多正文内容并将其放入Elasticsearch

标签：elasticsearch Web Crawler stormcrawler

我有一个概念验证Stormcrawler安装，指向我们的一个较小的大学网站（-300页左右），我对SC从正文内容中获取的信息量有问题。这个网站在页面顶部有大量的菜单，而SC只是通过在它被切断之前提取菜单内容来获取大部分的方法，而从来没有真正获得页面的真实内容。有没有办法告诉SC从页面中获取更多的正文内容？或者问题出在Elasticsearch方面？我目前已经安装了SC/ES，就像您发布的教程一样 谢谢！ Jim可能是由于http.content.limit的配置，该配置中的值为65K 可以将其设

我们一直在努力与页面速度洞察和谷歌搜索控制台加载我们的网页一致。这是一个没有SSR（服务器端渲染）的角度SPA 当我对我们的网站进行速度检查时，有时它会给出60-70（移动）的预期分数，并在图像中正确显示我们的网站。但其他时候，它会返回perfect 100（移动版），但只显示我们在原始HTML中包含的页面部分，根本不执行任何JS。我在下面附上了两张图片 问题似乎在于，有时它并不等待JS呈现页面，而是假设页面已完全加载 因此，我有几个问题： -这些爬虫如何决定网页何时满载？ -我们如何确保Goo

我今天刚开始考虑创建/定制一个网络爬虫，对网络爬虫/机器人礼仪知之甚少。我发现大多数关于礼仪的文章都显得陈旧而笨拙，因此我想从web开发人员社区获得一些最新的（实用的）见解 我想使用一个爬虫在“web”上漫游，目的非常简单——“站点XYZ的标记是否满足条件ABC？” 这给我提出了很多问题，但我认为我首先需要回避的两个主要问题是： 从一开始就感觉有点“不确定”——这种事情可以接受吗 爬虫应该采取什么具体的考虑来避免让人不安 我想考虑一下你造成的负荷是非常重要的。例如，如果爬虫程序同时或多或少地请

我已经组装了一个相当简单的爬行引擎，它工作得非常好，并且在很大程度上避免了陷入循环陷阱。（即，A页链接到B页，B页链接到A页） 它唯一陷入这个循环的时候是当两个页面都使用cachebuster查询字符串彼此链接时，基本上每次刷新的每个链接上都是唯一的查询字符串 这会导致页面在爬虫程序中看起来总是像新页面，并且爬虫程序会在两个页面之间移动时卡住 除了在两个页面之间跳转N次后突然跳出，唯一的区别是查询字符串（我认为这不是一个很好的方法），还有没有其他方法可以检测并跳出这些陷阱…？也许它们只是会话ID

许多在线商店提供一个站点地图文件，其中包含以下形式的产品信息： ... <url> <loc>http://blabla.com/tbcart/pc/-DOOR-GYM-Full-Body-Exerciser-256p34168.htm</loc> <lastmod>2010-11-26</lastmod> <changefreq>weekly</ch

假设有一个网站abc.com，我们抓取abc.com的100页，如下所示 第1天：通过将maxDocumentsToDownload指定为100，在heritrix中创建爬网作业 第2天：在heritrix中克隆上述作业并运行 若网站在两天内并没有改变，我会得到相同的100页还是不同的100页 如果需要更多信息，请告诉我 谢谢， Hareesh在第二天克隆作业后，除非网站（网页）更新，否则它将基本上下载相同的页面集。 另一方面，在运行作业时，Heritrix会尽力避免对同一页进行两次爬网。因为a

我已经安装、配置了Nutch 1.10并使用了爬网脚本，但正在尝试升级到Nutch 1.13。我很难让Nutch爬行脚本与Nutch v1.13一起工作 这通常适用于v1.10 bin/crawl -i -D elastic.server.url=http://localhost:9300/search-index/ urls/ searchcrawl/ 2 然而，当我尝试使用它运行v1.13时，我得到了 Usage: crawl [-i|--index] [-D "key=value"]

我想了解化妆品的信息，如名称、价格、img和评论。 但是，代码不起作用 我想从附加图像的子类导入信息 protected Void doInBackground(Void... params) { try { Document doc = Jsoup.connect("https://www.sephora.com/search?keyword=1y01").get(); Elemen

我知道这是一个大问题，但我是一个完全的初学者。我在HTML、PHP等方面的经验有限，我想拼凑一些东西，但我甚至不知道从哪里开始 虽然我不一定能编写每一种语言的程序，但在一点指导下，我做了一个简单的剪切和粘贴，可以学到任何东西。我是一名学校教师，所以我有一个漫长的暑假要休 我想知道我是否能得到一些东西，可以搜索活动和/或旅行的日期和价格，如火车时间等，以列出教育旅行和类似的东西 任何帮助都将不胜感激 选择一个框架/库/语言 您将需要一些东西来向相关页面发出HTTP GET请求 GET将返回html

我是个新手，你能告诉我我们是否可以用ApacheNutch在LinkedIn上抓取发布的内容（而不是用户特定的数据）吗 我已经用Solr安装了Nutch，我能够成功地抓取网站，但当我尝试抓取LinkedIn时，我收到消息“不再抓取URL”。我想这一定是因为LinkedIn拒绝对其网页进行爬网。还有别的办法吗 Nutch在Robots.txt文件中没有白名单，默认为 User-agent: * Disallow: / 也就是说，不要爬行 他们的robots.txt文件中确实有注释 注意：如果你想

嗨，我对nutch索引有问题。它不是用逗号索引链接 例如： 链接：->将导致404 但是链接->应该被索引 锚点在html中如下所示 aaa bbb 我对Nutch非常陌生，所以不确定Nutch中跳过了什么配置，以及在哪里更改它 如果您有任何帮助，我们将不胜感激。您可以尝试通过conf/regex-urlfilter.txt文件进行管理。在那里寻找图案并尝试调整。让我知道它是否有效，我将尝试明天提供一个示例。在regex-urlfilter.txt中，与comman的链接不会被忽略。该文件只有

在storm crawler 1.10和ES 6.4.2上工作。爬网过程完成后，当我检查记录时，爬网程序正在抓取具有相同标题和描述的https和httpurl，我如何告诉爬网程序仅抓取其中一个url Title: About Apache storm Description:A Storm application is designed as a "topology" in the shape of a directed acyclic graph (DAG) with spouts and b

我正在抓取一个像imdb这样的动态网站。在这里，我对抓取某些元素感兴趣，比如电影的评级和投票的用户数量。然而，imdb是一个动态站点。新闻每隔几分钟就变一次。我对浏览所有的数据不感兴趣。在我的第一次爬网中，我把整个网站都刮掉了。现在我感兴趣的是一些div元素是如何变化的。例如，想想收视率。我是否需要每次对整个站点进行爬网，并根据我的数据库进行查询，以检查元素是否已更改？没有rss/atom提要的作用域。我如何解决这个问题，而不必在整个网站上爬行，并重新构建数据库。你是如何爬行的？您正在解析HTM

我有一个非常简单的拓扑结构，它从ES索引（AggregationSpout）喷出，获取页面（FetcherBolt），并使用StatusUpdaterBolt将ES状态更新为“已获取” 但是，我在日志文件中注意到这样的警告： [警告]找不到357DC2FCB59C6457884A8F7A83794CF77F490A3ACFD849A792A35153ED4665的未确认元组 相应的调试信息如下所示： 2017-12-06 12:44:53.572 o.e.t.t.示踪物 elasticsear

elasticsearch 使用种子url更新主机字段名

标签：elasticsearch Web Crawler stormcrawler

我正在研究风暴爬虫1.10和ES 6.4.2。我在seeds文件中插入了几个URL，我希望根据主机名过滤结果。是否有任何方法可以告诉爬虫程序将种子url存储在主机字段中 例如，我的种子URL是，。需要根据过滤结果。尝试使用弹性搜索通配符过滤器，但结果不准确 主机字段用于分片并自动创建。只需为它创建一个新的可搜索字段 您可以在种子文件中为每个条目添加自定义元数据，例如：。 种子=ghi 您需要指定元数据传输的密钥，以便大纲链接获得该密钥： metadata.transfer: - seed

我有一个链接列表，我想得到爬网。我想删除爬虫程序的所有其他链接 他发现自己没有被抓到 我研究的方向：创建一个robots.txt，它将禁止所有页面，除了我的站点地图中存在的页面。我看到了关于如何创建这样一个文件的信息，该文件声明我可以通过以下方式禁止网站的部分内容： Allow:/folder1/myfile.html 不允许：/folder1/ 但我确实希望爬网的链接不在特定文件夹中。我可以为他制作一个hugh文件，实际上是一个站点地图，但这似乎不合理。你推荐什么 如果你有时间或精力，用文件夹

检查一些开源网络爬虫的文档，如ApacheNutch、ApacheTika；我经常遇到“链接图数据库”这个术语。有人能总结一下吗 Nutch是一款开源的网络搜索软件。它以Lucene Java为基础，添加了网络细节，如爬虫、链接图数据库、HTML和其他文档格式的解析器等。它的主要功能包括 Nutch与链接图数据库一起工作。如果您对图形数据库一无所知，可以检查。有多个图形数据库。例：

您好，我正在使用谷歌网站管理员工具中提供的以谷歌身份获取选项，但当我获取某个页面，并将光标停留在提交的结果上时，它会显示我的登录页面，而不是我提交的页面。因此，我想知道谷歌对受密码保护的网站进行爬网是否存在问题，以及是否有任何选项可以将一些爬网脚本附加到我的页面，就像我在使用谷歌分析时所做的那样，刚刚有一个客户希望我解决同样的问题 我相信这就是你想要的： 在这里，你可以给谷歌的爬虫提供用户名和密码（如果需要，甚至更多）。只是一个想法：如果你让谷歌机器人进来，你真的需要登录系统吗？社交网络需要登录

在我的论文中，我比较了多页设计和单页设计。我想比较一下有多少网站使用它们的统计数据 有没有办法找到这些信息？或者我必须爬网才能找到像Alexa top 100万这样的网站吗？即使使用爬行法，您如何确定MPA/SPA 有没有更好的方法找到这个问题？你可以用它来代替爬行，它的覆盖范围非常大，非常适合这类研究。另请参见我不久前写的这篇文章。从CommonCrawl（）的示例部分来看，这似乎是正确的选择，干杯！

我已经在一个小型集群上为Nutch 2.3.1配置了完整的Hadoop/Hbase生态系统。我对Nutch中使用的评分算法很好奇。我在Nutch中找到并使用了opic评分过滤器。为了找到它的影响，我在Nutch中的不同步骤（dbupdate和generate阶段）中按照Nutch的指导进行了检查。但我发现，无论我如何运行迭代和获取多少文档，每个文档的得分始终保持为零。opic实现中是否存在一些问题，或者我缺少一些配置 我注意到，包含现金的\u csh\u字段在回执阶段从Hbase中的相应表中删除

我正在使用Storm crawler 1.10。我正在尝试使用crawler来抓取文档。我根据一些研究添加了tika解析器，但爬虫程序没有抓取.pdf URL。当我应用tika the函数时，html页面中的新行（\n）正在爬行，这在我签入kibana时看起来很奇怪。正则表达式中的文档没有限制。我正在共享我的配置。任何人都可以帮助我在这种情况下，只有抓取文件 **es-crawler.flux:** name: "crawler" includes: - resource: true

我试图从乌兹别克语网页上收集所有可用的文本信息（尽可能多）（用于我的研究）。最好的方法是什么 我找到了常见的爬网，但不确定提取特定语言文本是否容易。一些门户在url中使用语言名称-即。。/gb/…-或作为参数-即。？lang=gb。他们还可以把它放在一些饼干里。Web浏览器应发送带有您在浏览器设置中设置的语言的标题，并且门户可以使用此信息。因此，每个门户都可以使用不同的方法。自2018年8月以来，通用的爬网存档使得查找特定语言的页面变得非常容易。每个月大约有300000个乌兹别克语页面（）被爬网

我需要下载维基百科提供的每种主要语言的每篇文章的第一段。最好是无格式的纯文本 我找到了这个网址： 不幸的是，我必须知道每篇文章的标题。因此，我想我可以使用页面ID： 从pageids=0开始，递增到pageids=INT\u MAX 对于不同的通用语言（如德语），我可以简单地将域更改为de： 最后的URL是： https://%LLD%.wikipedia.org/w/api.php？action=query&format=json&pageid=%PAGE\u ID%&prop=extr

我正在使用Searcharoo来爬网。在重新爬网期间，我只想爬网那些在特定日期之后更新的页面。如何做到这一点？我正在爬网的网站不是博客或新闻网站。这是一个评论网站。有什么想法吗？当内容更改或服务器上的资源更改时，您是否尝试重新爬网？我想在特定的时间间隔（例如10天）安排爬网过程。在重新爬网时，我只想爬网在上次爬网事件后修改过的页面。根据本文（），上次修改的页面有一个http字段，但我猜实现是不稳定的。因此，您可能只考虑保存原始页面HTML，并在上次搜索时进行字符串比较。这样，您至少不会降低资产。

我正在为一个研究项目清理一些网站，我遇到了一些我认为可能对很多用户有用的问题。 给定一个明确的主题（如观鸟或天体物理学），我的目标基本上是： 确定传播这些想法的重要网站 抓取这些网站的代表性样本 对数据进行一些网络分析和主题分析（例如主题模型） 在学术场所发布结果，而不发布任何爬网数据 为了实现这一目标，我发现以下障碍： 采样方法：显然，不可能确定感兴趣地点的边界。由于不可能知道数据集的大小，如何确定样本的代表性？我可以抓取10公里、1米或10米的页面，而不知道何时应该停止 检测/禁止问题

我目前在import.io中设置了一个爬虫程序，它可以爬过大量页面（数万页）。一旦这个爬虫程序完成，我试图查看数据，却发现数据已经全部丢失，我认为这是由于数据量过大造成的。是否有办法设置我的爬虫程序，以便在收集数据时将数据实时写入硬盘上的文件？可以，在开始爬虫之前，链接区域下方有一个选项 1-保存流是您选择文件名和保存位置的地方，同时请确保在文件名中添加.csv或.json 2-流类型从下拉列表中选择输出类型

我试图从一个网站上得到一些消息，但有一个问题 import urllib.request user_agent = 'Chrome/58.0(compatible;IE 10.0; Windows 10)' headers = {'User-Agent': user_agent} url = 'http://www.1905.com/list-p-catid-221.html' request=urllib.request.Request(url,headers) response=urllib

如何执行LinkExtractor使用SplashRequest发送请求。 我运行此代码，但只向主页发送请求，主页的链接不会被提取。 代码： 编辑 有什么评论吗？我认为你的问题太宽泛了：这个问题可能不涉及LinkedExtractor和ScrapySplash，也许试着消除其中一个并重新提问这个问题这是否回答了你的问题？ rules = { Rule( LinkExtractor( restrict_xpaths=('//ul[contains(@cla

我从默认拓扑开始，但想做一个递归爬网。所以我必须修改flux文件，将发现的URL循环回抓取程序，我不确定哪种方法是最好的 有没有一个很好的例子来说明如何做到这一点？也许和Elasticsearch一起工作 问候,， Chris运行递归爬网时，需要存储有关URL的信息。反馈给回执器是不够的，因为它不会考虑重复项，也不会给您任何调度控制权 外部模块中有许多可用选项，Elasticsearch就是其中之一，您也可以使用SOLR或SQL后端 有关如何将SC与ES一起使用的教程，请参见 有一个Status

我不熟悉Heritrix并使用heritirx 1.14。 我不知道如何做到以下几点： 1） 将下载链接的BFS深度绑定到特定数字，例如3。 2） 将下载的类型限制为html和文本 非常感谢您的关注。首先，我可能会混淆Heritrix 2（我使用得更多）和Heritrix 1（我已经很久没有使用过）的概念。对不起，如果我这样做了 深度是在边界上设置的范围。BroadScope将具有深度限制设置。或者，您可以使用范围和决策范围 至于要下载的文件类型，我认为应该在您试图用来归档已爬网文件的Mirro

在网络开发中有没有办法确保网络爬虫无法抓取您的网站 您可以将包含以下内容的文件放在站点的根目录下，这将阻止文明机器人对其进行索引： User-agent: * Disallow: / 请注意，这不会阻止未文明的机器人对其进行索引。防止它们的唯一方法是使用诸如验证码之类的技术 当然，最好使用专用开发机器，当您的站点正在建设时，无法从internet访问该机器。确保吗？没有 您可以礼貌地询问（但可以忽略它们），您可以设置障碍（但它们可能会被击败并对普通用户设置障碍），您可以监控每个访问者寻找机器人

当爬虫读取robots.txt文件的用户代理行时，它是尝试将其与自己的用户代理完全匹配，还是尝试将其作为其用户代理的子字符串进行匹配 我读过的每一篇文章都没有明确回答这个问题。据认为，这是一个完全匹配 然而，这让我相信这是一个子串匹配。例如，User-Agent:Google将匹配“Googlebot”和“Googlebot新闻”。以下是RFC的相关报价： robot必须遵守/robots.txt中的第一条记录，该记录包含一个用户代理行，其值包含robot的名称标记作为子字符串 此外，在“用户代

我们需要每两周抓取大量（约15亿）的网页。速度，因此成本，对我们来说是一个巨大的因素，因为我们最初的尝试最终花费了我们超过2万美元 是否有关于哪个爬虫程序在分布式环境中表现最好的数据？有关Nutch和StormCrawler的比较，请参阅 Heritrix可以在分布式模式下使用，但文档中没有非常清楚的说明如何做到这一点。前两个版本依赖于成熟的计算分发平台（分别是ApacheHadoop和ApacheStorm），但Heritrix的情况并非如此 Heritrix也主要用于归档社区，而Nutch和