Python 如何高效地导入数据集、处理数据和构建新数据库

我必须从1260000个xml文件构建一个数据库。这些xml文件中的每一个都使用python进行处理、解析，然后以某种方式插入到数据库中。 这是通过psycopg2库完成的。 例如，我读取一个名称，查看该名称是否已在数据库中，然后根据具体情况执行插入或不插入操作。 这一切都与python有关。 每个文件运行大约需要10分钟，这需要几年时间才能完成

---

我想知道，对于我正在尝试做的事情，是否还有其他选择。（很抱歉提出noob问题）

10分钟解析一个XML文件并将内容加载到数据库中？这速度慢得令人怀疑。这些文件有多大？@FMc 2MB（我运行的那个）到400MB@FMc这通常是如何做到的？完成这样的任务平均需要多少时间？（有12个表的数据库）那么一个2MB文件需要10分钟？只是猜测，但这似乎真的很慢。我建议您首先研究为什么处理一个文件的代码运行速度如此缓慢：这可能是编码/算法问题，也可能是数据库建模或配置问题。没有更具体的问题很难说。一个过于笼统的问题（如您当前的问题）可能会在StackOverflow上结束。你需要问一些更具体的问题：实际的代码和一个说明问题的输入文件，这样其他人就可以读取代码，甚至运行它。基于处理这么小的文件需要很长时间，我猜你从文件中读取一行，检查数据是否在数据库中，如果不在，则插入数据。我说得对吗？