Apache spark 我正在使用spark 1.4并尝试使用压缩snappy保存为orcfile,但它保存为zlib
这是我的密码:Apache spark 我正在使用spark 1.4并尝试使用压缩snappy保存为orcfile,但它保存为zlib,apache-spark,orc,Apache Spark,Orc,这是我的密码: val df=hiveContext.write.format("orc").options("orc.compression","SNAPPY").save( "xyz") 但是文件保存为ZLIB。您可以尝试将额外的配置“spark.io.compression.codec=snappy”添加到spark shell/spark submit: spark-shell --conf spark.io.compression.codec=snappy #rest of your
val df=hiveContext.write.format("orc").options("orc.compression","SNAPPY").save(
"xyz")
但是文件保存为ZLIB。您可以尝试将额外的配置“spark.io.compression.codec=snappy”添加到spark shell/spark submit:
spark-shell --conf spark.io.compression.codec=snappy #rest of your command..
此外,要写入ORC格式(假设您的Spark>=1.5),您可以使用:
myDf.orc("/some/path")
“orc”方法与doing.format(“orc”).save(“/some/path”)”完全一样。但严肃地说,你的问题缺乏实质内容。如果你给我们的只是“它不起作用”,我们就帮不了你。错误是什么?到底发生了什么?您希望看到的预期结果是什么?