Python 大型简单XML文件的并发SAX处理？
我有两个巨大的XML文件（10GB-40GB），它们的结构非常简单：只有一个包含多个行节点的根节点。我试图在Python中使用SAX解析它们，但是我必须对每一行进行额外的处理，这意味着40GB文件需要一整天才能完成。为了加快速度，我想同时使用所有内核。不幸的是，SAX解析器似乎无法处理“格式错误”的XML块，这是当您查找文件中的任意行并尝试从此处进行解析时得到的结果。因为SAX解析器可以接受一个流，所以我认为我需要将XML文件划分为八个不同的流，每个流包含[number of rows]/8行，并用假开始和结束标记填充。我该怎么做呢？或者-有没有更好的解决方案，我可能会错过？谢谢大家! 我建议的方法是将整个XML文件读入内部格式，然后进行额外的处理。SAX应该足够快，可以在不超过一小时的时间内读取40GB的XML 根据数据的不同，您可以使用SQLite数据库或HDF5文件进行中间存储Python 大型简单XML文件的并发SAX处理？,python,xml,parsing,concurrency,sax,Python,Xml,Parsing,Concurrency,Sax,我有两个巨大的XML文件（10GB-40GB），它们的结构非常简单：只有一个包含多个行节点的根节点。我试图在Python中使用SAX解析它们，但是我必须对每一行进行额外的处理，这意味着40GB文件需要一整天才能完成。为了加快速度，我想同时使用所有内核。不幸的是，SAX解析器似乎无法处理“格式错误”的XML块，这是当您查找文件中的任意行并尝试从此处进行解析时得到的结果。因为SAX解析器可以接受一个流，所以我认为我需要将XML文件划分为八个不同的流，每个流包含[number of rows]/8行，
顺便说一下，Python并不是真正的多线程（请参阅）。您需要
多处理顺便说一下，Python并不是真正的多线程（请参阅）。您需要
多处理顺便说一下，Python并不是真正的多线程（请参阅）。您需要
多处理顺便说一下，Python并不是真正的多线程（请参阅）。您需要
多处理