Scala—对本地范围内的大量文件执行XML.loadFile时堆使用率高
我正在尝试从大量XML创建对象树。但是，当我在大约2000个xml文件（从100KB到200MB）上运行以下代码时（注意，我已经注释掉了创建对象树的代码），我得到了8-9GB的大内存占用。在下面的示例中，我希望内存占用最小，因为代码不包含任何引用，它只是创建元素并将其丢弃。运行完整GC后，堆内存保持不变Scala—对本地范围内的大量文件执行XML.loadFile时堆使用率高,scala,heap-memory,Scala,Heap Memory,我正在尝试从大量XML创建对象树。但是，当我在大约2000个xml文件（从100KB到200MB）上运行以下代码时（注意，我已经注释掉了创建对象树的代码），我得到了8-9GB的大内存占用。在下面的示例中，我希望内存占用最小，因为代码不包含任何引用，它只是创建元素并将其丢弃。运行完整GC后，堆内存保持不变 def addDir(dir: File) { dir.listFiles.filter(file => file.getName.endsWith("xml.gz")).foreach
def addDir(dir: File) {
dir.listFiles.filter(file => file.getName.endsWith("xml.gz")).foreach { gzipFile =>
addGzipFile(gzipFile)
}
}
def addGzipFile(gzipFile: File) {
val is = new BufferedInputStream(new GZIPInputStream(new FileInputStream(gzipFile)))
val xml = XML.load(is)
// parse xml and create object tree
is.close()
}
我无法复制此行为。我使用以下程序：
import java.io._
import xml.XML
object XMLLoadHeap {
val filename = "test.xml"
def addFile() {
val is = new BufferedInputStream(new FileInputStream(filename))
val xml = XML.load(is)
is.close()
println(xml.label)
}
def createXMLFile() {
val out = new FileWriter(filename)
out.write("<foo>\n")
(1 to 100000) foreach (i => out.write(" <bar baz=\"boom\"/>\n"))
out.write("</foo>\n")
out.close()
}
def main(args:Array[String]) {
println("XMLLoadHeap")
createXMLFile()
(1 to args(0).toInt) foreach { i =>
println("processing " + i)
addFile()
}
}
}
导入java.io_
导入xml.xml
对象XMLLoadHeap{
val filename=“test.xml”
def addFile（）{
val is=new BufferedInputStream（新文件输入流（文件名））
val xml=xml.load（is）
is.close（）
println（xml.label）
}
def createXMLFile（）{
val out=新文件编写器（文件名）
输出。写入（“\n”）
（1到100000）foreach（i=>out.write（“\n”））
输出。写入（“\n”）
结束
}
def main（参数：数组[字符串]）{
println（“xmloadheap”）
createXMLFile（）
（1到args（0）.toInt）foreach{i=>
println（“处理”+i）
addFile（）
}
}
}
-Xmx128m-XX:+HeapDumpOnOutOfMemoryError-verbose:gc除此之外，假设您不创建对象树，您可以使用
-Xmx4G-XX:+HeapDumpOnOutOfMemoryErrortop