在SparkR中使用CRAN包

如果我想在SparkR中使用标准的R包，比如MXNet，这可能吗？是否可以在Spark分布式环境中使用标准CRAN包，而不考虑本地vs Spark数据帧。在R和Spark中处理大型数据集的策略是使用Spark数据帧，缩减数据帧，然后将其转换为本地data.frame以使用标准CRAN包吗？还有其他我不知道的策略吗

谢谢

是否可以在Spark分布式环境中使用标准CRAN包，而不考虑本地vs Spark数据帧

不，他们不能

在R和Spark中使用大数据集的策略是使用Spark数据帧，缩减数据帧，然后将其转换为本地

data.frame

可悲的是，大多数时候你就是这么做的

还有其他我不知道的策略吗

---

Spark 2.0中的

dapply

和

gapply

函数可以将任意R代码应用于分区或组。

谢谢您的回答。我将研究dapply和gapply函数。