Warning: file_get_contents(/data/phpspider/zhask/data//catemap/7/rust/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 原则是什么?Spark何时处理大于内存容量的数据?_Java_Scala_Apache Spark - Fatal编程技术网

Java 原则是什么?Spark何时处理大于内存容量的数据?

Java 原则是什么?Spark何时处理大于内存容量的数据?,java,scala,apache-spark,Java,Scala,Apache Spark,据我所知,Spark使用内存缓存数据,然后在内存中计算数据。但是如果数据比内存大呢? 我可以阅读源代码,但我不知道哪个类做调度工作? 或者你能解释一下Spark如何处理这个问题的原则吗?om nom nom给出了答案,但只是出于某种原因作为评论,所以我想我会把它作为一个实际的答案发布: 我们(可能)不是Spark的开发者。你为什么不问问他们的开发者?@Raptor 1)你不需要成为开发者就可以知道这些重要的细节2)是什么让你认为Spark开发者是一种特殊的开发者,他们不在stackoverflo

据我所知,Spark使用内存缓存数据,然后在内存中计算数据。但是如果数据比内存大呢? 我可以阅读源代码,但我不知道哪个类做调度工作?
或者你能解释一下Spark如何处理这个问题的原则吗?

om nom nom给出了答案,但只是出于某种原因作为评论,所以我想我会把它作为一个实际的答案发布:

我们(可能)不是Spark的开发者。你为什么不问问他们的开发者?@Raptor 1)你不需要成为开发者就可以知道这些重要的细节2)是什么让你认为Spark开发者是一种特殊的开发者,他们不在stackoverflow上闲逛(特别是,不监视他们标签上的问题)?