Apache spark 集成nifi接收器和火花流导致sbt组件失败

我正在尝试使用nifi接收器创建Spark流媒体应用程序。根据教程，我将sbt依赖项添加到构建文件中，但现在

sbt程序集

由于重复数据消除错误而失败

我的build.sbt文件是：

version := "0.0.1"

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.1" % "provided"

libraryDependencies += "org.apache.nifi" % "nifi-spark-receiver" % "0.6.1"

libraryDependencies += "org.apache.nifi" % "nifi-site-to-site-client" % "0.6.1" 

我得到的错误是：

[error] (*:assembly) deduplicate: different file contents found in the following:
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7-tests.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties
[error] org.apache.avro\avro-ipc\jars\avro-ipc-1.7.7.jar:META-INF/maven/org.apache.avro/avro-ipc/pom.properties

有人知道怎么解决这个问题吗

谢谢，

---

Marco

我不完全确定这是否是问题所在，但最近有人指出nifi spark接收器应该对spark具有“提供的”依赖性，否则可能会在类路径上造成问题

这个JIRA将在NiFi的下一个0.x版本（如果没有0.7版本，则为1.0）中发布

您可以尝试使用mvn安装从0.x分支构建自己的NiFi副本，然后尝试使用本地Maven repo中提供的NiFi spark receiver的0.7.0快照