Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Dataframe 数据帧/数据集如何编译成RDD?_Dataframe_Apache Spark_Optimization_Memory_Rdd - Fatal编程技术网

Dataframe 数据帧/数据集如何编译成RDD?

Dataframe 数据帧/数据集如何编译成RDD?,dataframe,apache-spark,optimization,memory,rdd,Dataframe,Apache Spark,Optimization,Memory,Rdd,我一直在阅读数据帧/数据集相对于RDD的改进:行格式、代码生成等。一些文本似乎暗示数据帧/数据集作为优化器管道的一部分转换为RDD。这是正确的吗 Spark:权威指南说: 物理规划会导致一系列RDD和转换。这就是为什么您可能听说Spark被称为编译器——它接受数据帧、数据集和SQL中的查询,并将它们编译为RDD转换 在下面幻灯片集的幻灯片10中,我们看到RDD是优化器管道的最终结果。 但如果我理解正确的话,数据帧和数据集以W行格式存储在内存中,而RDD存储为Java对象。这是否意味着当我们在数

我一直在阅读数据帧/数据集相对于RDD的改进:行格式、代码生成等。一些文本似乎暗示数据帧/数据集作为优化器管道的一部分转换为RDD。这是正确的吗

Spark:权威指南说:

物理规划会导致一系列RDD和转换。这就是为什么您可能听说Spark被称为编译器——它接受数据帧、数据集和SQL中的查询,并将它们编译为RDD转换

在下面幻灯片集的幻灯片10中,我们看到RDD是优化器管道的最终结果。

但如果我理解正确的话,数据帧和数据集以W行格式存储在内存中,而RDD存储为Java对象。这是否意味着当我们在数据帧上执行查询(由优化器处理)时,我们最终得到的是Java对象而不是行

提前谢谢