Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 记忆中的Avro,以拼花地板为储物空间_Apache Spark_Avro_Parquet - Fatal编程技术网

Apache spark 记忆中的Avro,以拼花地板为储物空间

Apache spark 记忆中的Avro,以拼花地板为储物空间,apache-spark,avro,parquet,Apache Spark,Avro,Parquet,我对拼花地板还不熟悉,并试图了解使用拼花地板所带来的各种复杂情况。经常流行的一点是,拼花地板作为存储格式应该与Avro一起使用,作为内存中的表示。不幸的是,我不明白Avro怎么会对拼花地板有用。有人能给我解释一下这个组合吗 谢谢 Avro是一种表示对象结构的二进制格式。它有被压缩的优点 我对拼花地板的内部细节了解不够,无法解释为什么要使用Avro,但它可能会被优化以存储特定的格式。然而,使用Avro作为存储的对象格式通常会节省大量空间

我对拼花地板还不熟悉,并试图了解使用拼花地板所带来的各种复杂情况。经常流行的一点是,拼花地板作为存储格式应该与Avro一起使用,作为内存中的表示。不幸的是,我不明白Avro怎么会对拼花地板有用。有人能给我解释一下这个组合吗


谢谢

Avro是一种表示对象结构的二进制格式。它有被压缩的优点

我对拼花地板的内部细节了解不够,无法解释为什么要使用Avro,但它可能会被优化以存储特定的格式。然而,使用Avro作为存储的对象格式通常会节省大量空间