Java 是否可以使用SAX解析器解析大小为800MB的大型xml文件

我正在解析

transxchange

数据，其中有些文件大小非常大，几乎800MB。当我试图解析这些文件时，我得到了以下错误

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
=======================================================================
    at java.util.ArrayList.<init>(Unknown Source)
    at java.util.ArrayList.<init>(Unknown Source)
    at JourneyPatternSections.<init>(JourneyPatternSections.java:21)
    at ReadBusData.startElement(ReadBusData.java:131)
    at com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.startElement(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanStartElement(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl$FragmentContentDriver.next(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl.next(Unknown Source)
    at com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanDocument(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.XMLParser.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.parse(Unknown Source)
    at com.sun.org.apache.xerces.internal.jaxp.SAXParserImpl$JAXPSAXParser.parse(Unknown Source)
    at javax.xml.parsers.SAXParser.parse(Unknown Source)
    at javax.xml.parsers.SAXParser.parse(Unknown Source)
    at ReadBusData.parseDocument(ReadBusData.java:51)
    at ReadBusData.<init>(ReadBusData.java:41)
    at ReadBusData.main(ReadBusData.java:218).

线程“main”java.lang.OutOfMemoryError中的异常：java堆空间 ======================================================================= 位于java.util.ArrayList。（未知源） 位于java.util.ArrayList。（未知源） 在JourneyPatternSections上。（JourneyPatternSections.java:21） 位于ReadBusData.startElement（ReadBusData.java:131） 位于com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.startElement（未知源） 位于com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.scanStartElement（未知来源） 位于com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl$FragmentContentDriver.next（未知源） 在com.sun.org.apache.xerces.internal.impl.XMLDocumentScannerImpl.next（未知来源） 在com.sun.org.apache.xerces.internal.impl.XMLDocumentFragmentScannerImpl.ScandDocument（未知来源） 位于com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse（未知源） 位于com.sun.org.apache.xerces.internal.parsers.XML11Configuration.parse（未知源） 位于com.sun.org.apache.xerces.internal.parsers.XMLParser.parse（未知源） 位于com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.parse（未知源代码） 位于com.sun.org.apache.xerces.internal.jaxp.saxpasserimpl$jaxpsaxpasser.parse（未知源代码） 位于javax.xml.parsers.SAXParser.parse（未知源） 位于javax.xml.parsers.SAXParser.parse（未知源） 位于ReadBusData.parseDocument（ReadBusData.java:51） 在ReadBusData。（ReadBusData.java:41） 位于ReadBusData.main（ReadBusData.java:218）。 我正在学习教程。

---

有人能帮我吗。

增加堆大小，例如，使用

-Xmx1g

启动VM

---

增加堆大小，例如，使用

-Xmx1g

启动VM

---

SAX将是解析大型文件的最佳机制。DOM解析会将整个文档加载到内存中，您会遇到问题。很可能您遇到问题，因为您试图将所有内容存储在某种集合中。SAX对于解析xml、处理xml并继续前进非常有用。

SAX将是解析大型文件的最佳机制。DOM解析会将整个文档加载到内存中，您会遇到问题。很可能您遇到问题，因为您试图将所有内容存储在某种集合中。SAX非常适合解析xml、处理xml，然后继续

问：是否可以使用xml解析大小为800MB的大型xml文件 SAX解析器

A:当然可以

问题不在于SAX。SAX实际上是处理大型文件的理想选择

问题显然发生在您的arraylist上

它有多大

其他建筑物有多大

您真的需要存储分配空间的所有数据吗

您是否使用任何VM标志运行程序以分配更多内存

你的电脑有多少内存？你能在支持更多内存的PC上运行它吗？64位个人电脑

您使用的是64位JVM吗

建议: 下载并试用Visual VM以在代码级别解决问题：

您可能会发现分配的数据远远超出了预期

我想

问：是否可以使用xml解析大小为800MB的大型xml文件 SAX解析器

A:当然可以

问题不在于SAX。SAX实际上是处理大型文件的理想选择

问题显然发生在您的arraylist上

它有多大

其他建筑物有多大

您真的需要存储分配空间的所有数据吗

您是否使用任何VM标志运行程序以分配更多内存

你的电脑有多少内存？你能在支持更多内存的PC上运行它吗？64位个人电脑

您使用的是64位JVM吗

建议: 下载并试用Visual VM以在代码级别解决问题：

您可能会发现分配的数据远远超出了预期

---

IMHO…

在创建您正在创建的数据结构时出错。您需要减少正在使用的内存量或增加程序的内存量

---

现在一GB不是那么回事。如果您可以将其设置为4到16 GB，这将使处理文件变得更加简单。

在创建正在创建的数据结构时出错。您需要减少正在使用的内存量或增加程序的内存量

---

现在一GB不是那么回事。如果你能给它4到16 GB，这将使处理文件变得更简单。

这里的问题是它需要多少时间。你能告诉我，我正在获取java.lang.OutOfMemoryError:java堆空间。这可能有助于你打印用于启动此应用程序的命令行吗？我感觉问题是由于堆大小不足造成的。请尝试Xmx2g并告诉我们剩余文件的情况。它花费的时间更少，解析成功，但我发现两个文件有100MB和800MB的错误。这里的问题是需要多少时间。请您指导我，我正在获取java.lang.OutOfMemoryError:java堆空间。这可能有助于打印用于启动此应用程序的命令行吗？我感觉问题是由于堆大小不足造成的。请尝试Xmx2g并告诉我们剩余文件的情况。由于它花费的时间更少，并且解析成功，只有我得到了两个100MB和800MB文件的错误。