Scala 原因：java.lang.ClassNotFoundException:net.jpountz.lz4.LZ4BlockOutputStream

使用Scala Eclipse IDE启动了我的示例Scala Spark程序。这个程序是一个简单的字数计算，我创建了一个没有压缩的简单文本文件。以Scala应用程序的身份运行代码时出错

“原因：java.lang.ClassNotFoundException:net.jpountz.lz4.LZ4BlockOutputStream”在执行sc.textFile（“word.txt”）时

我的代码

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import net.jpountz.lz4.LZ4BlockOutputStream

object WordCount {
  def main (args: Array[String]) = {
    val conf = new SparkConf().setAppName("WordCount").setMaster("local")
    val sc = new SparkContext(conf)

    val test = sc.textFile("word.txt")
    //test.flatMap{line => line.split(" ")}.saveAsTextFile("wordCount.txt")

    //.map{word => (word,1)}.reduceByKey(_ + _).saveAsTextFile("wordCount.txt")
  }
}

---

在本地Windows计算机上运行。这是我的POM.xml的问题吗？

从spark上下文读取CSV文件时，我遇到了类似的问题。追踪起来有点棘手，但我可以通过查看依赖关系树来解决这个问题。事实证明，在spark的内部深处，它正在调用LZ4BlockInputStream上的构造函数，该构造函数存在于更新的lz4库org.lz4-java-1.4中。问题是，由于不同的过时依赖关系，它正在引入旧版本lz4 net.jpountz.lz4（1.3）

对于我来说，这个库解决了我的问题：

https://mvnrepository.com/artifact/net.jpountz.lz4/lz4/1.3.0

---

在您共享的代码中，我看不到该软件包的必要性…spark 2.3也是如此，在我的案例中，罪犯非常新鲜-spark-sql-kafka-0-10:2.3.0任何关于如何查看依赖关系树的提示都会有所帮助。还有，您是如何配置它以拉入正确的库的。