构建不依赖任何hadoop的spark

我找到了一些关于

-Phadoop提供的

标志的参考资料，用于在没有hadoop库的情况下构建spark，但找不到一个好的示例来说明如何使用它。如何从源代码构建spark并确保它不添加任何自己的hadoop依赖项。看起来，当我构建最新的spark时，它包含了一堆与我的集群hadoop版本冲突的

2.8.x

hadoop内容。

spark有“使用用户提供的hadoop预构建”的下载选项，因此命名为

spark version bin而不使用hadoop.tgz

如果您真的想构建它，那么从项目根目录运行它

./build/mvn -Phadoop-provided -DskipTests clean package