PYTHON如何排除已处理的文件

我有一个预处理器，可以打开输入/子文件夹中的.jpg文件，对它们进行处理，然后写入已处理/子文件夹/filename.npy

如果脚本失败，我只需要处理未处理的文件。如何检查已处理/子文件夹/中的所有文件，并从执行中排除与已处理.npy文件名相同的所有.jpg文件？非常感谢。 原因：处理需要43小时，如果处理失败，从头开始将非常昂贵。

---

注意：“输入”和“已处理”中的子文件夹数量不同。

对于长过程，生成日志文件总是好的。 例如，您可以在其中放置：

输入文件名输入->输出成功文件名输出

输入文件名输入->输出失败文件名输出

---

然后执行脚本读取此日志文件并重新运行（我猜是使用不同的输入参数）失败的进程。

已处理文件的名称与未处理文件的名称不同吗？首先，我会将文件写入临时位置，然后将其复制到已处理/文件夹，这样，在完全处理之前，未完成的文件不会出现在输出位置。然后，检查输入文件上的文件时间戳，计算其输出名称，并检查具有该输出名称的文件是否已经存在且具有较新的时间戳。如果是，则必须在上次更改输入文件后对其进行处理。这个过程不起作用有什么原因吗？也许你可以在一个专用的目录中移动处理过的文件Script从“input”中的许多子文件夹中获取“somename.jpg”，并在“processed”文件夹中生成“somename.npy”，而“processed”文件夹中没有那么多类子文件夹。原始的jpg保持不变。是的，日志记录是个好主意，我将在下一个处理中使用它。但是这个特别的问题已经开始了，没有更多的细节很难回答。如果长脚本是“开源”的，你能从中进行“输出模拟”吗？一个脚本，它只是“从不同的子文件夹读取多个输入”，并从中估计输出文件名，而不运行任何操作，只告诉输出文件是什么。然后，是否有一个os.path.exists在它上面，它会告诉您要重新运行哪个文件？这可能不是一个正确的方式，但它可以做的工作。。。