R:xmlEventParse期间对大型（>；20GB）文件的内存管理

在前面这个问题（）的基础上，我试图通过xmlEventParse读取许多大型xml文件，同时保存节点变化的数据。使用此示例xml:

下面的代码使用xpathSapply提取必要的值，并使用一系列if语句组合这些值，使唯一值（PMID）与记录中的每个非唯一值（LastName）相匹配，而记录中可能没有LastName。我们的目标是在编写过程中编写一系列小型csv（这里，在每1000个姓氏之后），以最小化所使用的内存量

当在全尺寸数据集上运行时，代码成功地成批输出文件，但是内存中仍然存储着某些内容，一旦使用了所有RAM，最终会导致系统错误。我在代码运行时观察了任务管理器，可以看到R的内存随着程序的进行而增长。如果我在运行中停止程序，然后清除R工作区，包括隐藏的项目，内存似乎仍在被R使用。直到我关闭R，内存才再次被释放

自己运行几次，您将看到R的内存使用量甚至在清除工作区后也会增加

请帮忙！对于以这种方式读取大型XML文件的其他人来说，这个问题似乎很常见（参见示例注释）

我的代码如下：

library(XML)

filename <- "~/Desktop/medsamp2015.xml"

tempdat <- data.frame(pmid=as.numeric(),
                      lname=character(), 
                      stringsAsFactors=FALSE) 
cnt <- 1
branchFunction <- function() {
  func <- function(x, ...) {
    v1 <- xpathSApply(x, path = "//PMID", xmlValue)
    v2 <- xpathSApply(x, path = "//Author/LastName", xmlValue)
    print(cbind(c(rep(v1,length(v2))), v2))

    #below is where I store/write the temp data along the way
    #but even without doing this, memory is used (even after clearing)

    tempdat <<- rbind(tempdat,cbind(c(rep(v1,length(v2))), v2))
    if (nrow(tempdat) > 1000){
      outname <- paste0("~/Desktop/outfiles",cnt,".csv")
      write.csv(tempdat, outname , row.names = F)
      tempdat <<- data.frame(pmid=as.numeric(),
                            lname=character(), 
                            stringsAsFactors=FALSE)
      cnt <<- cnt+1
    }
  }
  list(MedlineCitation = func)
}

myfunctions <- branchFunction()

#RUN
xmlEventParse(
  file = filename, 
  handlers = NULL, 
  branches = myfunctions
)

库（XML）
filename这里是一个示例，我们有一个启动脚本
invoke.sh
，它调用一个R脚本，并将url和文件名作为参数传递。。。在本例中，我之前下载了测试文件并将其放入
/data
目录中


我的意思是在
invoke.sh
脚本中创建一个循环，并遍历目标文件名列表。对于调用R实例的每个文件，下载它，处理该文件并转到下一个

警告：我没有对照任何其他下载文件和格式检查或更改您的功能。我将通过移除第62行的print（）包装来关闭输出的打印

print( cbind(c(rep(v1, length(v2))), v2))


请参阅：以获取打印输出
输出的
.csv
文件放置在
/data
目录中

注意：这是我之前就这个问题提供的答案的衍生：
. 我希望它能起到示范作用

启动脚本
测试文件和输出

运行时输出
文件：
刚刚更新了代码，因此应该在下载后运行：。内存问题仍然存在。您运行的是什么操作系统？Windows，L*nux，Mac OSX？也许你会用像这样的tempdat[i]@Technophobe01我不管是在Windows还是Mac上都会遇到这个问题，这让我认为它与xmlEventParse有关，xmlEventParse在内存中存储了一些隐藏的、不可擦除的东西，而无需Rshutdown@km5041您正在使用的库很可能是用C或C++编写的，它将内存分配到R会话的控制之外。因此，内存泄漏在R会话之外，但会影响它。我处理这类问题的方法是将分析跨RScript实例进行划分。把工作分解。见：
  1 #!/usr/local/bin/bash -x
  2
  3 R --no-save -q --slave < ./47162861.R --args "https://www.nlm.nih.gov/databases/dtd" "medsamp2015.xml"

# Set working directory

projectDir <- "~/dev/stackoverflow/47162861"
setwd(projectDir)

# -----------------------------------------------------------------------------
# Load required Packages...
requiredPackages <- c("XML")

ipak <- function(pkg) {
  new.pkg <- pkg[!(pkg %in% installed.packages()[, "Package"])]
  if (length(new.pkg))
    install.packages(new.pkg, dependencies = TRUE)
  sapply(pkg, require, character.only = TRUE)
}

ipak(requiredPackages)

# -----------------------------------------------------------------------------
# Load required Files
# trailingOnly=TRUE means that only your arguments are returned
args <- commandArgs(trailingOnly = TRUE)

if ( length(args) != 0 ) {
  dataDir <- file.path(projectDir,"data")
  fileUrl = args[1]
  fileName = args[2]
} else {
  dataDir <- file.path(projectDir,"data")
  fileUrl <- "https://www.nlm.nih.gov/databases/dtd"
  fileName <- "medsamp2015.xml"
}

# -----------------------------------------------------------------------------
# Download file

# Does the directory Exist? If it does'nt create it
if (!file.exists(dataDir)) {
  dir.create(dataDir)
}

# Now we check if we have downloaded the data already if not we download it

if (!file.exists(file.path(dataDir, fileName))) {
  download.file(fileUrl, file.path(dataDir, fileName), method = "wget")
}

# -----------------------------------------------------------------------------
# Now we extrat the data

tempdat <- data.frame(pmid = as.numeric(), lname = character(),
  stringsAsFactors = FALSE)
cnt <- 1

branchFunction <- function() {
  func <- function(x, ...) {
    v1 <- xpathSApply(x, path = "//PMID", xmlValue)
    v2 <- xpathSApply(x, path = "//Author/LastName", xmlValue)
    print(cbind(c(rep(v1, length(v2))), v2))

    # below is where I store/write the temp data along the way
    # but even without doing this, memory is used (even after
    # clearing)

    tempdat <<- rbind(tempdat, cbind(c(rep(v1, length(v2))),
      v2))
    if (nrow(tempdat) > 1000) {
      outname <- file.path(dataDir, paste0(cnt, ".csv")) # Create FileName
      write.csv(tempdat, outname, row.names = F) # Write File to created directory
      tempdat <<- data.frame(pmid = as.numeric(), lname = character(),
        stringsAsFactors = FALSE)
      cnt <<- cnt + 1
    }
  }
  list(MedlineCitation = func)
}

myfunctions <- branchFunction()

# -----------------------------------------------------------------------------
# RUN
xmlEventParse(file = file.path(dataDir, fileName),
              handlers = NULL,
              branches = myfunctions)

$ ll                                                            
total 2128
drwxr-xr-x@ 7 hidden  staff   238B Nov 10 11:05 .
drwxr-xr-x@ 9 hidden  staff   306B Nov 10 11:11 ..
-rw-r--r--@ 1 hidden  staff    32K Nov 10 11:12 1.csv
-rw-r--r--@ 1 hidden  staff    20K Nov 10 11:12 2.csv
-rw-r--r--@ 1 hidden  staff    23K Nov 10 11:12 3.csv
-rw-r--r--@ 1 hidden  staff    37K Nov 10 11:12 4.csv
-rw-r--r--@ 1 hidden  staff   942K Nov 10 11:05 medsamp2015.xml

> ./invoke.sh > runtime.txt
+ R --no-save -q --slave --args https://www.nlm.nih.gov/databases/dtd medsamp2015.xml
Loading required package: XML