Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 我正在使用spark 1.4并尝试使用压缩snappy保存为orcfile,但它保存为zlib_Apache Spark_Orc - Fatal编程技术网

Apache spark 我正在使用spark 1.4并尝试使用压缩snappy保存为orcfile,但它保存为zlib

Apache spark 我正在使用spark 1.4并尝试使用压缩snappy保存为orcfile,但它保存为zlib,apache-spark,orc,Apache Spark,Orc,这是我的密码: val df=hiveContext.write.format("orc").options("orc.compression","SNAPPY").save( "xyz") 但是文件保存为ZLIB。您可以尝试将额外的配置“spark.io.compression.codec=snappy”添加到spark shell/spark submit: spark-shell --conf spark.io.compression.codec=snappy #rest of your

这是我的密码:

val df=hiveContext.write.format("orc").options("orc.compression","SNAPPY").save(
"xyz")

但是文件保存为ZLIB。

您可以尝试将额外的配置“spark.io.compression.codec=snappy”添加到spark shell/spark submit:

spark-shell --conf spark.io.compression.codec=snappy #rest of your command..
此外,要写入ORC格式(假设您的Spark>=1.5),您可以使用:

myDf.orc("/some/path")

“orc”方法与doing.format(“orc”).save(“/some/path”)”完全一样。

但严肃地说,你的问题缺乏实质内容。如果你给我们的只是“它不起作用”,我们就帮不了你。错误是什么?到底发生了什么?您希望看到的预期结果是什么?