可以在本地机器上使用Sparkyr绕过R'；什么是内存限制？

我需要在不适合我的计算机内存的数据上安装GLMs。通常为了解决这个问题，我会对数据进行采样，拟合模型，然后在内存不足的不同样本上进行测试。这一直是R对我的主要限制，这就是为什么安装GLM的SAS是首选，因为它不会遇到不适合内存的数据

---

我一直在尝试在本地机器上用R解决这个问题，想知道Sparkyr是否可以用来解决内存问题？我意识到Spark应该用于集群环境等，但坦率地说，SparkyR可以用于处理本地机器上的数据，否则这些数据将无法放入其内存中吗

Spark和SparkyR在分配负载方面非常有效，但不太可能用一个Spark实例解决您的问题。如果您搜索与内存不足glm和R相关的内容，您可能会更幸运地使用H2O

，您将遇到

ff

包和

biglm

包。您可以开始阅读文档并寻找示例。谢谢您的建议。我现在确实看过了。也许我还没有完全了解他们的工作原理，但ff和“大”R包家族似乎大多是解决方案，无法与其他R包（如Tidyverse）无缝集成，因此我认为没有一个修复方案“只起作用”。