Apache spark 如何理解spark-jars、extraClassPath和extraLibraryPath的关系和使用?
首先,我看到了类似的问题。但我认为它的答案不是很清楚 我的一些问题如下: (1) --jars参数与spark.executor.extraClassPath参数相同,如果它们不同,区别是什么 我在spark submit命令行中检查了--jars上的--help,其解释如下:Apache spark 如何理解spark-jars、extraClassPath和extraLibraryPath的关系和使用?,apache-spark,classpath,Apache Spark,Classpath,首先,我看到了类似的问题。但我认为它的答案不是很清楚 我的一些问题如下: (1) --jars参数与spark.executor.extraClassPath参数相同,如果它们不同,区别是什么 我在spark submit命令行中检查了--jars上的--help,其解释如下: Comma-separated list of local jars to include on the driver and executor classpaths
Comma-separated list of local jars to include on the driver
and executor classpaths.
但是,我没有在spark submit命令行中找到spark.executor.extraClassPath的解释。最后,我在spark官方网站上找到了以下关于spark.executor.extraClassPath的解释:
Extra classpath entries to prepend to the classpath of executors.
从两种解释看来效果相同
但我从另一个问题链接中看到以下段落:
--jars与SparkContext.addJar:它们是相同的,只有一个是通过spark提交设置的,另一个是通过代码设置的。选择一个更适合你的。需要注意的一点是,使用这两个选项中的任何一个都不会将JAR添加到驱动程序/执行器类路径中,您需要使用这两个选项上的extraClassPath配置显式添加它们
为什么又是这样
(2) spark.executor.extraClassPath和spark.executor.extraLibraryPath,与spark.driver.ExtraxxPath相同,前缀相同
课外路径和课外路径有什么区别
spark官方网站上spark.executor.extraLibraryPath的说明
Set a special library path to use when launching executor JVM's.
我不明白,这个解释和--jars和spark.executor.extraClassPath有什么区别
我期待您的解释和回答,谢谢。您找到合适的解释了吗?