Search 以编程方式下载大量<；在此处插入文件类型>；

我想知道是否有一种简单的方法可以下载大量任意类型的文件，例如，下载10000个XML文件。在过去，我使用了Bing的API。它是免费的，提供无限的查询。然而，它并不像谷歌那样索引很多类型的文件。Google索引XML文件、CSV文件和KML文件。（这些都可以通过像“filetype:XML”这样的搜索来找到。）据我所知，Bing并没有以一种易于搜索的方式对它们进行索引。还有其他API具有这些功能吗？

使用

wget

怎么样？你可以给

wget

一个URL（例如，一个谷歌搜索结果），告诉它跟随该页面上的所有链接并下载它们（我打赌你也可以给它一个过滤器）

刚刚尝试了一下，得到了一个

错误403:禁止。

显然谷歌阻止了来自Wget的请求。您必须提供不同的用户代理。快速搜索提供了以下示例：

---

然后，它与给出的示例一起工作。

你是说随机下载一堆文件吗？是的，但只有一种特定类型。一个例子是下载15000 KML文件。我不知道你为什么要这样做，但这确实是一个有趣的想法。好吧，你的标题是以编程方式写的。为什么不构建一个程序来解析google查询的输出，将其转换成一堆URL，然后放入一个文件中，并调用类似于

curl-f fileList

的东西呢。祝你好运