解析数百万XML文件-Java

我正在研究解析xml技术，并决定使用SAX over DOM解析器。这些数据包含数百万个xml文件，每个文件大小接近6KB。我正在使用SAXparser

我一个接一个地循环调用parser.parsefile和handler的所有文件，但在100000之后，我得到了一个内存不足的堆错误。当我试图转储堆并读取它时，我看到存储了很多字符数组和字符串

问题是，如何在没有堆错误的情况下解析数百万个小文件

import javax.xml.parsers.*;
import org.xml.sax.*;
import org.xml.sax.helpers.*;
import java.util.*;
import java.io.*;
import java.util.logging.Level;
import java.util.logging.Logger;

/**
 *
 * @author Ajinkya Jumbad
 */
public class dataset {

    static List<String> cols;
    public HashMap<String, HashMap> hm = new HashMap<>();
    static int i =0;

    dataset() {
        String coln[] = {
            "UID",
            "Name",
            "NationID",
            "Born",
            "Age",
            "IntCaps",
            "IntGoals",
            "U21Caps",
            "U21Goals",
            "Height",
            "Weight",
            "AerialAbility",
            "CommandOfArea",
            "Communication",
            "Eccentricity",
            "Handling",
            "Kicking",
            "OneOnOnes",
            "Reflexes",
            "RushingOut",
            "TendencyToPunch",
            "Throwing",
            "Corners",
            "Crossing",
            "Dribbling",
            "Finishing",
            "FirstTouch",
            "Freekicks",
            "Heading",
            "LongShots",
            "Longthrows",
            "Marking",
            "Passing",
            "PenaltyTaking",
            "Tackling",
            "Technique",
            "Aggression",
            "Anticipation",
            "Bravery",
            "Composure",
            "Concentration",
            "Vision",
            "Decisions",
            "Determination",
            "Flair",
            "Leadership",
            "OffTheBall",
            "Positioning",
            "Teamwork",
            "Workrate",
            "Acceleration",
            "Agility",
            "Balance",
            "Jumping",
            "LeftFoot",
            "NaturalFitness",
            "Pace",
            "RightFoot",
            "Stamina",
            "Strength",
            "Consistency",
            "Dirtiness",
            "ImportantMatches",
            "InjuryProness",
            "Versatility",
            "Adaptability",
            "Ambition",
            "Loyalty",
            "Pressure",
            "Professional",
            "Sportsmanship",
            "Temperament",
            "Controversy",
            "PositionsDesc",
            "Goalkeeper",
            "Sweeper",
            "Striker",
            "AttackingMidCentral",
            "AttackingMidLeft",
            "AttackingMidRight",
            "DefenderCentral",
            "DefenderLeft",
            "DefenderRight",
            "DefensiveMidfielder",
            "MidfielderCentral",
            "MidfielderLeft",
            "MidfielderRight",
            "WingBackLeft",
            "WingBackRight"};
        cols = Arrays.asList(coln);
        try {
            File f = new File("C:\\Users\\Ajinkya Jumbad\\Desktop\\fmdata");

            //File files[] = f.listFiles();
            for (File file : f.listFiles()) {
                //System.out.println(file.getAbsolutePath());
                if (file.isFile()) {
                    parse p = new parse(file);
                }
            }


            //savefile();
        } catch (Exception ex) {
            Logger.getLogger(dataset.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

    private void savefile() {
        try {
            String file_name = "dataset.csv";
            FileWriter w = new FileWriter(file_name);
            writecsv ws = new writecsv();
            boolean first = true;
            StringBuilder sb = new StringBuilder();
            for (String key : cols) {
                if (!first) {
                    sb.append(",");
                }
                sb.append(key);
                first = false;
            }
            sb.append("\n");
            w.append(sb.toString());
            for (String uid : hm.keySet()) {
                ws.writeLine(w, hm.get(uid));
            }
            w.close();
        } catch (Exception e) {
            System.out.println(e.getMessage());
        }
    }

    public class parse{
        parse(File file){
            try {
                SAXParserFactory parserfac = SAXParserFactory.newInstance();
                parserfac.setNamespaceAware(true);
                SAXParser parser = parserfac.newSAXParser();
                DefaultHandler handler = new DefaultHandler(){
                    HashMap<String, String> ht;
                    @Override
                    public void startDocument() {
                        ht = new HashMap<>();
                    }

                    @Override
                    public void startElement(String namespaceURI,
                            String localName,
                            String qName,
                            Attributes atts) {
                        if (atts.getValue("Value") != null && cols.contains(localName)) {
                            //System.out.println(localName);
                            String key = localName;
                            ht.put(key, atts.getValue("Value"));
                        }
                    }

                    @Override
                    public void endDocument() {
                        String uid = ht.get("UID");
                        hm.put(uid, ht);
                        dataset.i += 1;
                        if(dataset.i%100 == 0){
                            System.out.println(dataset.i);
                        }
                    }

                    @Override
                    public void characters(char ch[], int start, int length) throws SAXException {

                    }

                };
                parser.parse(file, handler);
            } catch (Exception ex) {
                Logger.getLogger(dataset.class.getName()).log(Level.SEVERE, null, ex);
            }
        }
    }

    public static void main(String[] args) {
        dataset ds = new dataset();
    }

}

---

A；完成后关闭文件

B；如果仍然发生这种情况，请跟踪可用内存并调用gc。有点像黑客，但如果能奏效

---

C；如果您可以访问多个线程，请在尽可能多的线程上运行它；给每个线程一个数字N，并让它处理每个N个文件。

首先，重用SAXParserFactory和解析器本身。创建SAXParserFactory可能非常昂贵，而且创建解析器也不便宜。总的来说，这些操作可能比实际解析输入要花费更长的时间。但这是为了节省时间，而不是内存

就内存而言，我怀疑所有空间都被您自己的数据结构占用了：特别是将结果放入其中的HashMap。尝试使用JVisualVM检查堆以确认这一点

至于底线，如何在不耗尽内存的情况下解析这些数据，这完全取决于您想对数据做什么。没有人为了好玩而解析XML数据；您这样做是因为您想将数据用于某种目的。我们不能在不了解a您想对数据做什么，b您为我们提供了广泛的规模指示的volumetrics的情况下建议您使用不同的方法：但是您应该能够告诉我们您希望此HashMap包含多少个条目，以及条目的大小

---

还有一件显而易见的小事，如果您不知道的话：在Java命令行上使用-Xmx选项来控制可用堆空间的大小。

那么您的问题是什么？如果不查看代码，就很难为您提供帮助。有人猜测，您一直在打开这些文件，但从未关闭它们并释放资源。您是否尝试过使用DOM解析器，正如您所说的那样，您正在逐个文件进行解析，而每个文件的大小仅为6KB？尝试关闭xml连接以释放内存资源您正在将读取的所有内容存储在HashMap中，您想知道为什么在存储100000个xml文件的内容后内存不足？您给Java提供了多少内存？既然您最终要将其写入csv文件，为什么要将所有内容都存储在内存中？为什么不在应用程序运行时将其写入输出文件？我从不打开文件，请注意，I java.io.file没有close方法，因为它实际上没有打开文件，而是指向文件的指针？您可能想看看SAXParser在读取文件时做了什么。在文件被打开的某个地方，不管它在做什么。我不是存储所有值然后写入它们，而是一个接一个地读取和写入数据。谢谢，成功了。