Python 有没有比列出目录中的所有文件更快的方法来查找文件?

Python 有没有比列出目录中的所有文件更快的方法来查找文件?,python,parallel-processing,filesystems,Python,Parallel Processing,Filesystems,我的工作流程如下所示: for i in some_list: if i not in os.listdir(a_directory): x = do_something(i) x.to_pickle(f"{a_directory}/{i}") os.listdir非常昂贵,因为它的目录非常大,而且是通过网络文件系统的 我有多个工人在做这项工作,所以我不能只列出一次目录的内容。如果我这样做了,那么我的员工将重复他们的工作,而且做一些事

我的工作流程如下所示:

for i in some_list:
    if i not in os.listdir(a_directory):
        x = do_something(i)
        x.to_pickle(f"{a_directory}/{i}")
os.listdir
非常昂贵,因为它的目录非常大,而且是通过网络文件系统的

我有多个工人在做这项工作,所以我不能只列出一次目录的内容。如果我这样做了,那么我的员工将重复他们的工作,而且
做一些事情
毕竟比
os.listdir
更昂贵


是否有什么东西可以查找某个特定文件的存在,而不是将所有文件都转储到python列表中供我进行字符串匹配?

根据以下问题,您可以直接检查文件是否存在:

根据这一回答:

导入操作系统路径
os.path.isfile(fname)
或:

从pathlib导入路径
my_file=Path(“/Path/to/file”)
如果my_file.is_file():
#文件存在