Java 原则是什么?Spark何时处理大于内存容量的数据?
据我所知,Spark使用内存缓存数据,然后在内存中计算数据。但是如果数据比内存大呢? 我可以阅读源代码,但我不知道哪个类做调度工作?Java 原则是什么?Spark何时处理大于内存容量的数据?,java,scala,apache-spark,Java,Scala,Apache Spark,据我所知,Spark使用内存缓存数据,然后在内存中计算数据。但是如果数据比内存大呢? 我可以阅读源代码,但我不知道哪个类做调度工作? 或者你能解释一下Spark如何处理这个问题的原则吗?om nom nom给出了答案,但只是出于某种原因作为评论,所以我想我会把它作为一个实际的答案发布: 我们(可能)不是Spark的开发者。你为什么不问问他们的开发者?@Raptor 1)你不需要成为开发者就可以知道这些重要的细节2)是什么让你认为Spark开发者是一种特殊的开发者,他们不在stackoverflo
或者你能解释一下Spark如何处理这个问题的原则吗?om nom nom给出了答案,但只是出于某种原因作为评论,所以我想我会把它作为一个实际的答案发布: 我们(可能)不是Spark的开发者。你为什么不问问他们的开发者?@Raptor 1)你不需要成为开发者就可以知道这些重要的细节2)是什么让你认为Spark开发者是一种特殊的开发者,他们不在stackoverflow上闲逛(特别是,不监视他们标签上的问题)?