Curl 如何从URL未定义文件名的网页下载所有列出的文件

我想从本页下载所有数据集：

我尝试过wget，但挑战在于：

链接到文件的URL中没有文件名，它们可能具有不同的文件类型

以下是指向文件的URL示例：

模式是所有URL都以http://www.data.gov/download/开头，以/geodata结尾

---

什么是最好的方式做刮这个网站？我应该使用wget、cURL、PHP脚本或其他什么吗？

为什么wget在这种情况下不起作用？基于您的示例URL，递归wget检索将把每个下载的文件放入其自己目录中的文件地理数据中。一旦数据放在本地磁盘上，您就可以按照自己的意愿处理数据，包括重命名文件并将其移动到更方便的形式，例如使用mmv或find-exec命令。

我仍在想这一点，因此任何评论或建议都将不胜感激！