Automation 如何从网站下载3000个文件?

Automation 如何从网站下载3000个文件?,automation,Automation,我想下载大约3000个文件,每个大约500kb大小。 他们在一个需要登录的网站上。 手动操作需要每次单击5次。 有没有一种方法可以让它自然化? 它们在名称上有一个模式。假设登录很简单,并且页面中没有javascript,那么使用Python非常简单。你可以用Python搜索网页抓取,然后用Python下载文件。我为几个网站写了一个简短的程序。Chrome和Firefox插件商店都有大量免费的WebSpider插件,它们可能是配置最快的。 一些复杂的下载管理器插件也提供了此功能,如GetRight

我想下载大约3000个文件,每个大约500kb大小。 他们在一个需要登录的网站上。 手动操作需要每次单击5次。 有没有一种方法可以让它自然化?
它们在名称上有一个模式。

假设登录很简单,并且页面中没有javascript,那么使用Python非常简单。你可以用Python搜索网页抓取,然后用Python下载文件。我为几个网站写了一个简短的程序。Chrome和Firefox插件商店都有大量免费的WebSpider插件,它们可能是配置最快的。 一些复杂的下载管理器插件也提供了此功能,如GetRight下载管理器和FreeDownload管理器(如果该插件仍然存在的话)

这也可以通过使用专用的spider工具实现——既有可安装的工具,也有基于web的工具

如果希望使用命名模式开发自己的解决方案,可以从bash和批处理脚本执行wget


很抱歉,我需要运行,但是有很多类似的选项可用,我可以在休息时提供更多详细信息

如果你用谷歌搜索,你会找到比我们在这里的答案更好的教程。