R向量内存耗尽
我目前正在Macbook Pro上使用RStudioR向量内存耗尽,r,cluster-analysis,R,Cluster Analysis,我目前正在Macbook Pro上使用RStudio R version 3.5.0 (2018-04-23) Platform: x86_64-apple-darwin15.6.0 (64-bit) Running under: macOS High Sierra 10.13.4 使用群集软件包中的agnes()函数时,我收到错误消息: Error: vector memory exhausted (limit reached?) 为了解决这个问题,我遵循了以下问题答案中提到的步骤: 现在
R version 3.5.0 (2018-04-23)
Platform: x86_64-apple-darwin15.6.0 (64-bit)
Running under: macOS High Sierra 10.13.4
使用群集软件包中的agnes()函数时,我收到错误消息:
Error: vector memory exhausted (limit reached?)
为了解决这个问题,我遵循了以下问题答案中提到的步骤:
现在运行相同的函数,我收到R会话中止消息。R遇到一个致命错误。会议结束
还有其他解决办法吗 AGNES至少需要两份距离矩阵副本 现在,如果您有100.000个实例,双精度(8字节),这意味着我们讨论的内存使用量大约为16000000000字节。这是160GB。 不包括输入数据或任何开销。如果幸运的话,R版本的AGNES只存储上三角矩阵,这将减少2。但如果真的这样做了,它可能会在大约64k个对象上产生一个整数溢出
因此,您可能需要选择与AGNES不同的算法,或者首先减少数据。当您开始使用可分配的内存时,您就开始使用fire。你没有描述你的数据,但我猜它相当大。是否有必要对数据进行子集划分,以便在较小的集合上执行聚类?(我猜不是。)你有更大的计算机吗?数据集是一个由162424个条目x 3列组成的数据框,是不是相当大?一般来说(在聚类分析之外),甚至不是很接近,但因为我不使用
agnes
我不熟悉它的内部工作,不知道它如何在工作中“爆炸”数据。