Scala 本机snappy库不可用

我正在尝试使用scala中的spark对一些数据帧进行大量连接。当我试图获得我在这里生成的最终数据帧的计数时，我得到以下异常。我正在使用spark shell运行代码

在启动spark shell时，我尝试了以下一些配置参数。但没有一个成功。这里有我遗漏的东西吗？ :

原因：java.lang.RuntimeException:本机snappy库不可用：此版本的libhadoop是在不支持snappy的情况下生成的。 位于org.apache.hadoop.io.compress.SnappyCodec.checkNativeCodeLoaded（SnappyCodec.java:65） 位于org.apache.hadoop.io.compress.SnappyCodec.getDecompressorType（SnappyCodec.java:193）

---

尝试将Hadoop jar文件从

2.6.3.

更新为

2.8.0

或

3.0.0

。在Hadoop的早期版本中存在以下问题：本机snappy库不可用。

---

修改Hadoop core jar后，您应该能够执行snappy压缩/解压缩。

snappy是本机库，这意味着它是用C或其他语言编写的，可以编译成汇编程序并作为共享的

文件安装在您的系统中。java库只是真正snappy的包装器，以简化调用它的过程。正如错误消息所说，您的hadoop发行版是在不支持snappy的情况下构建的。你可以尝试在hontorworks博客上提问。
--conf "spark.driver.extraLibraryPath=/usr/hdp/2.6.3.0-235/hadoop/lib/native/"
--jars /usr/hdp/current/hadoop-client/lib/snappy-java-1.0.4.1.jar