Python 3：复制大目录中的最新文件

正如标题所示，我试图确定并复制一个大目录中的最新文件。我找到的大多数解决方案要么首先列出目录，要么使用

glob.glob

，然后使用

max（file，key=os.path.getmtime）

确定最新的文件

我的问题是，我试图搜索的目录有10000多个文件，列出所有这些文件需要花费很长时间

---

可以说，一旦我确定了第一个（最近的）文件是什么，有没有一种方法可以“取消”列表？或者我不知道的另一种方法？

您可以使用

os.walk

在目录上迭代，并在生成器上应用

max

。根据您的使用情况，有许多细微差别。例如，您是想浅显地走到子目录中还是递归地走到子目录中？作为概念证明，您可以尝试类似的方法，但可能会修改它以满足您的需要

import os
import os.path


def mtime_gen(root, *args, **kwargs):
    for dirpath, dirnames, filenames in os.walk(root, *args, **kwargs):
        # NOTE:
        # Here, if you want to skip the depth-walk into sub-directories,
        # you can ignore the `dirnames`
        for basename in filenames:
            path = os.path.join(dirpath, basename)
            # Further heuristics, if any, may help you skipping impossible
            # candidates of the most recent file with the `continue` statement
            # so that expensive `stat` calls can be omitted.
            yield os.stat(path).st_mtime, path

recent_timestamp, recent_path = max(mtime_gen("/path/to/root"))
do_something_with(recent_path)    # For example, copying it.

这可能比

glob

快一些，因为

walk

不进行模式匹配。与

listdir

相比，它不会在列表中填充子目录，如果这是一个问题的话

瓶颈可能是缓慢的系统调用

stat

，因此，如果您已经知道一些可能的结果，一些启发式方法可能会帮助您跳过不可能的路径，而不是

stat

---

请注意，这只是一个概念证明。与一般的系统编程一样，您必须仔细处理复杂和异常。这是一项非常重要的任务。

“我找到的大多数解决方案要么首先列出目录”。这里的“列表”是什么意思？你是说解决方案会打印出每个文件名吗？如果是这样，为什么不删除正在打印的语句呢？或者您是说解决方案是迭代每个文件（尽管是静默的）？如果是这样的话，我感到惊讶的是，它需要“永远”，因为在不打印任何内容的情况下遍历包含10k个元素的列表需要几分之一秒的时间。与其构建包含10000个文件的完整列表，不如使用类似生成器的惰性操作。您很可能在操作系统本身中有一个解决方案，而不是Python包。例如，Linux有

ls-t

，它将按时间列出文件，最新的优先。使用os.stat（filename）.st_-ctime应该可以很好地工作-即使对于10000个文件（除非您通过网络安装了一些速度较慢的fs），性能也将高度依赖于系统。GNUCoreutils的

ls

没有利用任何底层的FS特性来加快按文件属性排序的速度（如果有任何此类特性的话）。它只使用排序函数

mpsort

，该函数在计算比较函数时并不特别热心。此外，解析

ls

的输出既困难又不可靠。在没有其他选择的情况下，只需将

stat

包装在生成器walker中，然后

max

即可。

os.scandir

应该是最快的方式。。