我希望能够运行一个脚本（或其他什么），可以“下载”某个网页（html）及其所有附件（word文档），这样我就可以保存和操作一个私人收藏 下面是故事。。。 我经常使用这个网站进行研究。在这个网站上有许多html页面，包含文本和文档（.pdf和.docs）的下载链接。有一种威胁是信息的所有者（美国政府）将“私有化”，我认为这是假的。然而，有这种威胁。我希望能够提取所有html文本和所有附件的副本，以便我可以在我的桌面上托管我自己的数据版本供个人使用（以防万一）。有没有一个简单的方法可以做到这一点 注

给定一个起始URLstart（以及一些关于允许域的规则等），我想生成一个有向图（V，E），其中V中的节点是可以从start访问的页面，并且有一个弧（u，V）在E中，只要页面u上有指向页面v的超链接 有没有一种简单的方法可以通过scrapy获得这样的图形？我也很乐意使用另一个开源工具，如果它能更容易/更好地实现目标。我不知道有任何工具或contrib能够精确地生成您想要的内容。你得造一只刮痒的蜘蛛才能做到这一点。我可以在这里解释必要的步骤： 创建一个scrapy项目并生成一个默认spider $

我知道使用以下元标记将阻止对web浏览器进行缓存，但不会对代理进行缓存： <META HTTP-EQUIV="PRAGMA" CONTENT="NO-CACHE"> <META HTTP-EQUIV="CACHE-CONTROL" CONTENT="NO-CACHE"> 但是，在服务器端使用缓存头将完全阻止缓存 我的页面是简单的.html文件，不是动态的（例如，不是.php）。如果我使用上面的元标记，考虑到代理可能仍然会缓存页面，Googlebot和其他爬行器是否总

我使用的是ApacheNutch1.7，我面临着使用URL作为种子URL进行爬行的问题，该URL在页面中有许多内部链接，也有许多指向其他域的外部链接，我只对内部链接感兴趣 但是，当对该页面进行爬网时，不会添加其中的内部链接，以便在下一轮抓取中进行抓取（我给出了100的深度）。我已经将db.ignore.internal.links设置为false，但是由于某些原因，内部链接没有添加到下一轮的获取列表中 另一方面，如果我将db.ignore.external.links设置为false，它将正确地

我有一整本包含丰富关键词的原创材料的电子书，我想把它们添加到我的网站上，以帮助提高搜索引擎的排名。问题是，我不希望任何人能够查看这些页面，但我仍然希望搜索引擎能够抓取它们。这是必要的，因为电子书内容是专有的 如果有人在搜索引擎中输入在我的某个页面上找到的特定文本字符串，我不希望谷歌将该页面显示为搜索结果，但可能会提供指向该页面的链接，在该页面上，只能通过登录和购买电子书页面来解锁 我一直在查看Prerender.io，看看是否有可能在爬虫请求时呈现一个拼字版本。在发送到实际的电子书内容页之前，我

我知道使用Xenu或其他工具爬行的几种方法。但必须有更好或更聪明的方法来做到这一点 我会的 喜欢根据网站地图抓取我们的网站吗 查证 a页面本身是404吗？ b页面本身没有参数的内部链接404？ c所有图像：它们是否存在？ 可以编写PHP脚本或其他脚本。但是有没有现成的工具、脚本或者Curl，我们可以用来做这件事呢 谢谢 是一个主要用Java实现的开源web爬虫程序。它处理站点地图，所以您可以使用它来爬网您的站点并检查404错误 你可以使用Crowlet完全公开：我是维护者，负责检查你网站地图中U

我遇到过一个网站，它会自动将用户重定向到第三方网站，但我注意到像谷歌机器人这样的网络爬虫不受重定向的约束，这意味着网络爬虫可以访问网站的实际内容。这导致： 谷歌将该网站的各个页面列为搜索结果。实际内容可以从谷歌缓存中查看，但如果用户单击搜索结果链接，就会被重定向到一个不相关的站点（如上所述） 如果用户使用像Wayback机器这样的存档站点，他可以手动缓存Wayback机器的爬虫检索到的站点的实际内容，然后正常浏览站点，尽管是静态缓存版本 我怀疑这与Auth0有关，因为该站点导入了Auth0脚本，

如何在流媒体中禁用注入子域？ 现在，如果我们在流中注入www.ebay.com而不是在流中注入，我们就有了子域页面：my.ebay.com，community.ebay.com，…，您可以通过在urlfilters.json中将ignoreOutsideHost设置为true，将HostURLFilter配置为排除种子主机名之外的URL 我在target/classes/urlfilters.json文件中更改了它，并重新启动了流，但我看到了相同的结果。我将尝试查看源代码并调试它…在src/ma

这里是我想从图中提取值的网站单击此处查看图 下面是从该页面中删除其他数据的代码 如规格及相关产品 并收集不同的卖家从网页上我的工作在最后一年的项目。 为了完成这个项目，我只需要从图中删除这些值 def规格（自身、请求）： 产品名称=列表（） 产品价格=清单（） image_source=list（） 产品href=list（） 行=列表（） 表1=列表（） 表2=列表（） 存储=列表（） 存储\重定向\链接=列表（） 其他价格=清单（） href=request.GET.GET（'url'）

'' 从pyquery导入pyquery html=PyQuery（a） 1.问题 我尝试获取第二个值c-5678- html（'v'）[1].attr（'c'） 这将显示错误“HtmlElement”对象没有属性“attr” 那我该怎么做呢 2.问题 我试图找到如何解决第一个问题，但我遇到了另一个问题 html（'p:n子（1）'）.attr（'id'）） 我得了A html（'p:nth child（2）'）.attr（'id'）） 我得到了 html（'p:nth child（3）'）.

如何使Heritrix在找到且不在种子列表中的域上继续爬网过程？ 我的意思是，在爬过种子列表中的所有域后，不要停止。并对在爬网过程中找到的每个链接继续爬网过程 我上次使用Heritrix已经有一段时间了，但如果我记性好，您需要更改设置/配置文件中的最大链接跳数。您创建的最大链接跃点越大，Heritrix从您定义的种子创建的步骤（“跃点”）就越多。默认情况下，Heritrix配置为仅对种子列表中的域上的URL进行爬网。某些附加材质通常也会被爬网，因为也会获取托管在其他位置的嵌入材质 如果希望Her

我试图覆盖脚本中调用的爬虫程序的某些设置，但这些设置似乎不起作用： from scrapy import log from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings from someproject.spiders import SomeSpider spider = SomeSpider() overrides = { 'LOG_ENABLED'

在scrapy中是否可以抓取一个只包含“hello”的url一次，然后继续抓取其余的url并跟踪它们 非常感谢您的建议/帮助。您可以定义一个类级布尔变量，并在默认情况下将其设置为False。然后，在对包含hello的url进行爬网后，将其设置为True。大概是这样的： class MySpider(Spider): hello_crawled = False ... def parse(self, response): if 'hello' in re

我已经实现了一个基本的爬虫程序，它从种子URL检索数据，并能够下载页面。此外，我能够保持我的爬虫在同一种子网站，直到指定的深度达到。 我如何对我的爬虫程序施加更多限制，比如只有在通过预定义关键字的最小阈值时才能下载页面？ shouldvisit（）函数中有这样的方法吗？不幸的是，您有一个不可能的约束，这是爬虫程序的标准约束。您必须下载该页面才能确定它是否包含您要查找的关键字。与大多数爬虫程序一样，crawler4j只能对下载的数据进行操作，对于尚未爬虫但只知道其URL字符串的页面，URL字符串可

关于这一点有很多建议，但用户对了解和感到满意（可能？），因此我将对其进行扩展： 要计算精度和召回率，需要TP、FN、TN和FP值。开箱即用，爬行之后，你知道： TP+FP（选择相关的） TN+FN（其余被爬网并丢弃） 困难的部分似乎是通过从爬网集中找到真正相关的页面来分离这些总和（TP和FN-未加起来） 验证文档的相关性，除了爬虫程序的相关性功能之外，我还可以手动进行验证，该功能实际上应该进行测试。在我的例子中，它是爬网页面的TF IDF和主题文档中给定的用户之间的余弦相似性 当我想在超过几

我希望有人能帮我解决这个问题。我正在用PHP编写一个spider应用程序，它编译一个域中唯一URL的列表，处理每个唯一URL上的HTML数据，然后生成关于这些页面的统计数据 我的问题在于，当参数值不同时，是否知道我插入的URL对于我的列表是唯一的 例如，我的spider收集的两个URL在技术上是唯一的（“replytocom”的参数值不同），但也直接指向同一页面： 这些链接是你在博客上可以找到的，它可以让你更容易地回复特定的评论，同时仍然使用相同的回复形式。这就是我的问题所在：它们都是同

我的设置与相同。在爬网模式下运行爬网程序时，出现以下错误： [Thread-130-status-executor[109]]错误c.d.s.p.AbstractStatusUpdaterBolt-存储时捕获异常 com.mysql.jdbc.MysqlDataTruncation:数据截断：第1行“nextfetchdate”列的日期时间值不正确：“2099-12-31 00:00:00” 在com.mysql.jdbc.MysqlIO.checkErrorPacket（MysqlIO.jav

我正在尝试提取我的所有域子网站，并将它们添加到excel工作表中。到目前为止，我使用的所有网络爬虫只从爬虫基金会页面报告URL。我想知道是否有一种方法来报告URL是无法访问的基础页，如果不是，什么是一些可能的解决方案。 爬虫通常用于访问许多网站和他们的网页。若你们想在一个域中列出网页的网址，你们不需要使用网络爬虫。 保留从主页传出的链接列表。检查它们是否属于同一个域。在访问每个页面的列表中迭代，每次都重新检查，直到您使用整个域。请记住，如果没有指向同一域中特定页面的任何链接，则无法访问该页面。如

嗨，我正试图为我的网站生成一个robots.txt文件，但我在处理多语言URL时遇到了一个问题。 例如，我想禁用此URL http://www.example.com/en/shop http://www.example.com/ar/shop http://www.example.com/fr/shop 那么我必须写作吗 Disallow: /en/shop Disallow: /ar/shop Disallow: /fr/shop 还是这就够了 Disallow: /*/shop 多谢

我可以知道nutch对待插件url规范化程序吗。 例如，我给了nutch 10个URL的输入，以抓取10个URL。 nutch如何在db_中保存URL获取该值基于urlnormalizer，否则将使用与输入URL相同的名称进行保存

使用crawler，我们可以搜索任何特定站点，但这会降低该站点的带宽。在对特定站点进行爬网或使用nutch之前，是否有任何规则，我们可以搜索任何没有问题的站点。我想使用nutch创建垂直搜索。有人可以根据上述问题部分帮助我解决此问题吗 如果特定站点不允许robots.txt中的Nutch bot，那么如何使用Nutch搜索该站点？我们是否需要事先获得许可。在Nutch中，您可以配置可以向特定主机发送多少并发请求 您可以在conf/nutch-site.xml文件中重写此属性。 默认情况下，Nut

我想知道我如何才能禁止谷歌对我的子域进行爬网 我拍了一张我的网络空间文件夹的照片。awesom媒体文件夹是主站点www.awesom-media.de所在的文件夹 另一个是子域。我想说的是谷歌不应该抓取这个，但我不知道如何抓取 我在awesom媒体文件夹中没有robot.txt，但正如您在/part中看到的那样。robot.txt的内容是用户代理：* 不允许： 就这样 如果你的所有子域都直接路由到特定的文件夹（例如automazin.awesom-media.de使用文件夹auto magazi

在右边有一个链接“Nummer Anzigen”。我想得到这个电话号码-例如，用php文件（…） 我该怎么做呢？你可以用硒。首先，您可以单击元素，然后只获取新元素的特定文本。以下是python中的代码： import selenium.webdriver as webdriver driver = webdriver.Chrome() driver.get(url="https://www.tutti.ch/de/vi/zuerich/zuerich/kleidung-accessoires/u

我正在使用dream.js抓取一个站点，当我转到url时，我得到错误： 很遗憾，自动访问此页被拒绝 此代码解决了此问题 await nightmare.useragent('Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36') .goto(url); 仅供参考，这是报废而不是报废 await

我试图在relatedwords.org网站上搜索类似的单词，但是源代码中没有显示这些单词的块。以下是我使用的代码： public class SimilarWords { public static void main(String[] args) throws IOException { Document homePage = Jsoup.connect("https://relatedwords.org/relatedto/towing").ignoreHt

我们的网站是在ASP.NET中开发的。我们想阻止来自谷歌和其他搜索引擎的Default.aspx页面。如何“关闭”Default.aspx页面，使其无法访问？ 或者有没有其他方法可以解决这个问题，这样我们就不会创建重复的内容。看看，它可以用来阻止网络爬虫。（至少是好的。）我个人认为你不必为此担心，但是 您可以指定规范元标记 因此，在default.aspx的头部 <link rel="canonical" href="http://www.yourdomain.com/" />

我有一个初学者问题：我想写一个爬虫（~1000） 网页）但网站在加载时经常出现问题 一些元素，因此没有页面加载。 -->waitForPageLoad（）方法停止我的爬虫程序 如何继续？waitForPageLoad方法正在阻塞，这意味着当前正在执行的线程将阻塞，直到该方法的执行完成。有两种方法可以阻止应用程序阻塞： 指定超时 运行多个线程 指示存在超时值，因此将超时设置为合理值，一旦加载页面或超时过期，函数将返回： void waitForPageLoad( in DOMDocument

我只是想知道是否有人知道这是否违反了TOS中的规定，即：你不能以任何方式帧、缓存或修改谷歌生成的结果 资料来源： 我还想知道是否有人有好的搜索引擎API可供推荐。您需要区分谷歌定制搜索和谷歌定制搜索API CSE是可以嵌入到网站中的谷歌搜索功能。据我所知，它可能仅由客户端web浏览器使用，并且您不得以任何方式修改/frame/etc结果 自定义搜索API的文档可在以下位置找到： 请注意，查询限制为每天100次 如果您在开发人员控制台中启用此API，您将看到此服务的显式TOS，可能是： 请注意，这

WhatRunsWhere为在线媒体购买提供“竞争情报”。你可以做一些事情，比如找出你的竞争对手从哪些网站购买流量，在给定的网络上找到印象份额最高的广告，在网络上搜索相关的广告副本，等等。我想模糊地理解这是怎么回事。我想可能会涉及到数据挖掘，但有人对这项工作有更多的线索吗 我无法为这些广告网络找到任何公开可用的API，这就是为什么我感到困惑的原因 网站是：whatrunswere.com adbeat.com提供类似的服务我不能肯定，但我认为它要么是通过与工具栏/插件/应用程序数据合作，要么更可

我正在使用storm crawler 1.10和Elastic Search 6.3.x。我在config中添加了http.content.limit=-1。爬虫运行良好，当我检查结果函数和css数据是否显示在索引中时。是否有可能在parserfilter.json中应用xpath筛选器（例如：和）或任何其他建议来限制爬虫程序以避免这些问题。我正在分享一些记录中显示的样本数据 document.getElementById('cloak6258804dfa0d517eaedf4b69a99ed

我正在使用Nutch1.17在本地机器上抓取网站并在Solr中索引数据。最初，我将参数设置为topN=2，depth=2，爬行成功。然后，我将参数更改为topN=3，depth=3，但map reduce中的reduce过程仍停留在67%。这一切都是用4GB内存运行的 然后，我尝试将RAM设置为8GB，但同样的问题仍然存在。问题是什么？我如何进一步分类？请帮忙 以下是日志： 2021-04-30 17:58:58432信息mapreduce.Job-用于跟踪 工作：http://localhos

情况： 内容受用户名/密码保护的站点（并非所有站点都受控制，因为它们可以是试用/测试用户） 由于用户名/密码的限制，普通搜索引擎无法访问它 恶意用户仍然可以登录并将会话cookie传递给“wget-r”或其他东西 问题是，监控此类活动并对其作出响应的最佳解决方案是什么（考虑到站点策略不允许爬网/刮取） 我可以想出一些选择： 设置一些流量监控解决方案，以限制给定用户/IP的请求数 与第一点相关：自动阻止某些用户代理 （邪恶：））设置一个隐藏链接，当被访问时，该链接将注销用户并禁用其帐户。（一般

我正在寻找一个好的开源机器人，以确定一些质量，通常需要谷歌索引 比如说 查找重复的标题 无效链接（jspider可以做到这一点，我认为还有更多的链接可以做到这一点） 完全相同的页面，但不同的URL etc，其中etc等于谷歌质量要求 您的需求非常具体，因此不太可能有一款开源产品完全满足您的需求 然而，有许多用于构建web爬虫的开源框架。你使用哪一种取决于你的语言偏好 例如： 对于Python，请尝试 对于Java，请尝试 对于Ruby，请尝试 对于Perl 一般来说，这些框架将根据您给出的

不知道还能问到哪里，但我的Wordpress网站每天收到500条垃圾评论。没问题，我添加了一个spamblocker。现在我已经检查了我网站的访问者，我注意到googlebot每分钟检查/wp-comments-post.php 7次。这是个问题吗？如何解决这个问题？除非： 增加的负载正在减慢您的站点速度 谷歌机器人无法进入其他页面，因为它处于某种循环中（即蜘蛛陷阱） 今年，他们最近被看到了。所以他们也对Wordpress的评论感兴趣是有道理的 如果你真的很担心，或者它对你的网站有负面影响，你可

在分布式（部署）模式下进行Nutch爬网后，如下所示： bin/nutch crawl s3n://..... -depth 10 -topN 50000 -dir /crawl -threads 20 我需要以map-reduce友好格式提取获取的每个URL及其内容。通过使用下面的readseg命令，可以获取内容，但输出格式不适合映射缩减 bin/nutch readseg -dump /crawl/segments/* /output -nogenerate -noparse -no

我正在寻找一个框架来获取文章，然后我找到了Nutch2.1。以下是我的计划和每个计划中的问题： 一, 将文章列表页面添加到url/seed.txt中 这里有一个问题。我真正想索引的是文章页面，而不是文章列表页面。但是，如果我不允许对列表页进行索引，Nutch将无所作为，因为列表页是入口。那么，如何只索引文章页面而不索引列表页面呢 二, 编写一个插件，从html中解析出“作者”、“日期”、“文章正文”、“标题”以及其他信息。 Nutch 2.1中的“解析器”插件接口是： Parse getPars

我提出了一个面试问题，我想知道你对此的看法。问题是，在设计网络爬虫时： 1） DFS与BFS相比，您将访问哪种页面 2） 如何避免陷入无限循环 如果有人能回答，我将不胜感激 1） DFS与BFS相比，您将访问哪种页面 在大多数情况下，我会使用BFS算法来实现爬行器，因为我想从网页上获取的最有价值的信息没有太多的链接深度，否则我认为由于糟糕的设计，该网站没有太多的爬行价值 如果我想从一个页面获取一些特定数据，并从几个跃点获取其他相关数据，同时我想在爬行器运行后不久看到结果，那么我可以选择DFS算法

我正试图用家里的一些笔记本电脑挖掘Monero，刚刚差不多完成了一个月的挖掘，我记得问自己如何从MineXMR仪表板下载数据进行进一步分析。我的第一个想法是制作一个Python爬虫脚本，但也许我遗漏了一些东西。有人能帮忙吗

我在美国，正在对一个网站进行轻量级爬网，该网站根据访问国家提供不同的版本 从多个国家爬行的最佳方式是什么？是否有一个代理服务我可以路由我的http请求通过？或者我需要在每个国家租用轻量级虚拟机并安装我自己的代理服务器吗？我使用这个curl，如果你的主要编程语言是php，你可以在你的服务器上这样做： $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, RETURNTRANSFER, true); curl

对于我的论文工作，我需要从不同的基于文章的网站收集数据。当我从localhost脚本在其他站点上使用file\u get\u contents（）时，在某些站点的最初几次运行良好。但是，有些站点在5-10次尝试后会提供验证码验证提示来验证未经授权的bot访问，因此我的脚本无法正常运行 我只想使用本地主机脚本中的另一个站点的file\u get\u contents（）来获取整个页面的内容。我还尝试设置用户代理，但没有任何进展。 我正在使用此设置用户代理： <?php ini_set("us

有没有一个程序可以通过url扫描一个网站，并列出我可以复制到Word中的所有文件（html、js、css、图像）？我需要列出一个网站，我一直在工作的所有更改的文件。有很多文件，尤其是图像。否则我会手动操作。wget然后您可以使用diff谷歌“网络爬虫”检查更改……您应该可以看到开源和商业软件。还有一些开源的网络爬虫框架，比如crawler4j、nutch等，你可以用它们来构建自己的实用程序。请尝试详细说明这个答案（包括详细的说明），用这样一个简短的答案，我认为你应该把它作为一个评论发布。

我是纳奇的新手。我需要爬网（比如说，几百个网页），阅读爬网的数据并做一些分析 我遵循链接（并集成了Solr，因为我将来可能需要搜索文本），并使用一些URL作为种子运行爬网 现在，我在本地机器中找不到text/html数据。在哪里可以找到数据？以文本格式读取数据的最佳方式是什么 版本 apache-nutch-1.9 solr-4.10.4 爬网结束后，可以使用bin/nutch dump命令转储以纯html格式获取的所有URL 用法如下： $ bin/nutch dump [-h] [-mim

现在我正在使用stormcrawler来抓取网站。 我想知道是否可以通过storm crawler中的标记或其他类似的东西进行爬网。 我修改了parsefilters.json文件，如下所示，但它不起作用 { "class": "com.digitalpebble.stormcrawler.parse.filter.ContentFilter", "name": "ContentFilter", "params": { "pattern": "//ARTICLE",

网络爬虫（来自搜索引擎和非搜索引擎）会以何种方式影响网站统计数据（例如，在测试不同的页面变化时）？如何解决这些问题 例如： 很多编写网络爬虫的人是否经常删除他们的cookie并屏蔽他们的IP，这样网络爬虫在每次抓取站点时都会显示为不同的用户 使用什么样的启发式方法来识别某个东西是机器人？（我猜任何足够复杂的机器人都无法与真实用户区分开来，如果它愿意的话——这是正确的吗？） 根据下面的评论，我只想澄清一下：我也对我的网站被明确定位（可能是非法爬虫）的情况感兴趣。检测机器人的几个简单方法： 点击/r

我正在使用这个框架，它在DokuWiki中有文档。该框架的开发人员警告说，文档将消失，从而迫使用户切换到该框架的新版本 切换到新框架对我来说是不可能的，因为它需要对。。。我的每个应用程序中的所有内容。因此，我需要下载他们的文档，并希望它采用DokuWiki语法 我有一个拥有编辑页面权限的帐户，因此我可以看到每个页面的DokuWiki语法 问题：有没有办法爬过DokuWiki的所有页面，并以DokuWiki语法获取所有文章（当然有这样的特权） PS：作者拒绝提供所有DokuWiki（许可证不是原

我正在使用Nutch抓取一个大型网站 网页由CGI程序生成。大多数网页的URL包含诸如？id=2323&title=foo之类的表达式 我想抓取这些网页，因为它们包含许多有用的信息 然而，我面临的一个问题是，这个网站有一个日历。还生成了一些类似日期的网页。这意味着Nutch将尝试抓取一些无辜的网页，如year=2030&month=12 这很愚蠢 我怎样才能避免这样的陷阱呢？编写多个正则表达式？将正则表达式模式添加到conf/regex urlfilter.txt中，以指定接受或拒绝URL的规则

我有一个单页应用程序，我使用一个无头浏览器为网络爬虫提供页面，给他们一个非常接近实际用户看到的页面版本 目前，我正在将爬虫用户代理白名单上，包括谷歌、facebook、必应、雅虎和linkedin 我现在希望将其扩展到更健壮的，针对每个用户代理，而不仅仅是这些。这样做的原因是，如果我不接受某个特定的爬虫程序，他们将看到的只是小胡子HTML模板。这对我没有好处 使用巨大的用户代理regex是最好的方法吗？这是每个请求都要做的事情，所以我也需要一些快速的东西…这是一个用户代理列表：（在这里找到：）

Diifbot产品api版本3正在返回图像。但当我创建产品api爬网作业时，它不会返回任何图像。如何在产品api爬网作业中获取图像？您能举一个您正在使用的URL示例吗？省去代币，我会用我自己的来测试。对不起，斯瓦德回答得太晚了。我从Diffbot支持中心得到了所有答案。谢谢。你能举一个你正在使用的URL的例子吗？省去代币，我会用我自己的来测试。对不起，斯瓦德回答得太晚了。我从Diffbot支持中心得到了所有答案。非常感谢。

我正在构建一个小型应用程序，它将对内容不断增长的站点（如stackoverflow）进行爬网。不同的是，创建的内容很少被修改 现在，在第一步中，我将抓取站点中的所有页面 但接下来，该网站的页面内容——我不想重新抓取所有内容，只想抓取最新添加的内容 因此，如果站点有500个页面，在第二次访问中，如果站点有501个页面，那么我只会抓取第一和第二个页面。这是处理这种情况的好办法吗 最后，爬网的内容将在lucene中结束-创建一个自定义搜索引擎 因此，我希望避免对同一内容进行多次爬网。还有更好的主意吗

我的任务是编写一个web伪爬虫来计算某些统计数据。我需要测量以开头的html文件的百分比，它们几乎可以做任何事情，包括限制您的请求速率。也非常好用。有一个很好的GUI和很多选项 如果您正在寻找灵感，也可以使用源代码：+1 wget非常棒，我经常使用它。然而，有些人需要GUI:）能够无头运行对我来说是一个额外的好处。事实上，这是我最初的想法。我是否应该使用google的url在一个循环中从perl调用wget，然后在嵌套循环中运行wget？我没有找到如何在wget中为单个文件设置配额。我想你可以使