Apache spark 如何在spark中配置spark.io.compression.codec=lzf

如何在spark中配置spark.io.compression.codec=lzf

通常，我使用spark submit运行我们的驱动程序类，如下所示

/提交-主spark://testserver:7077 --阶级 com.spark.test.SparkTest--conf“spark.io.compression.codec=lzf” /tmp/test/target/test.jar

所以我可以在命令中设置spark.io.compression.codec=lzf。但如果我不想使用spark submit来运行我们的驱动程序类。我想在spark作业服务器中运行。如何在spark作业服务器中进行配置？谢谢 我试图在env变量中设置它。但它不起作用。我也试过了。还是不行

sparkConf = new SparkConf().setMaster("spark://testserver:7077").setAppName("Javasparksqltest").
set("spark.executor.memory", "8g").set("spark.io.compression.codec", "lzf");

---

您可以通过将该选项放入与其关联的

conf/spark defaults.conf

中，将其传递给

spark submit

，或

spark shell

。详情见附件

对于

spark jobserver

，您可以配置给定的上下文，尤其是当它作为从作业隐式创建的上下文发送时。有几种方法可以做到这一点（其要点是设置在spark.context设置下分层），但是

Readme.md

的“上下文配置”详细说明了如何做到这一点：

---

使用完整的类名“org.apache.spark.io.LZFCompressionCodec”而不是“lzf”

我的意思是我不使用spark提交。现在我使用spark作业服务器。spark作业服务器中没有spark提交。！？你是说？你不认为你可能想在原始问题中指出这一点吗？很抱歉让你感到困惑。我有相应的修改。您知道如何配置吗？spark作业服务器是否支持java应用程序？我发现在spark job server中，job类需要扩展SparkJob类。我试着在java中使用它。但是我在SparkJob类中发现了SparkContext，但在java中，它是JavaSparkContext。我可以在Java类中使用SparkContext吗？这是一个完全不同的问题。我已经尽我所能回答了你的问题。