Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 如何理解spark-jars、extraClassPath和extraLibraryPath的关系和使用?_Apache Spark_Classpath - Fatal编程技术网

Apache spark 如何理解spark-jars、extraClassPath和extraLibraryPath的关系和使用?

Apache spark 如何理解spark-jars、extraClassPath和extraLibraryPath的关系和使用?,apache-spark,classpath,Apache Spark,Classpath,首先,我看到了类似的问题。但我认为它的答案不是很清楚 我的一些问题如下: (1) --jars参数与spark.executor.extraClassPath参数相同,如果它们不同,区别是什么 我在spark submit命令行中检查了--jars上的--help,其解释如下: Comma-separated list of local jars to include on the driver and executor classpaths

首先,我看到了类似的问题。但我认为它的答案不是很清楚

我的一些问题如下:

(1) --jars参数与spark.executor.extraClassPath参数相同,如果它们不同,区别是什么

我在spark submit命令行中检查了--jars上的--help,其解释如下:

 Comma-separated list of local jars to include on the driver
                          and executor classpaths.
但是,我没有在spark submit命令行中找到spark.executor.extraClassPath的解释。最后,我在spark官方网站上找到了以下关于spark.executor.extraClassPath的解释:

Extra classpath entries to prepend to the classpath of executors. 
从两种解释看来效果相同

但我从另一个问题链接中看到以下段落:

--jars与SparkContext.addJar:它们是相同的,只有一个是通过spark提交设置的,另一个是通过代码设置的。选择一个更适合你的。需要注意的一点是,使用这两个选项中的任何一个都不会将JAR添加到驱动程序/执行器类路径中,您需要使用这两个选项上的extraClassPath配置显式添加它们

为什么又是这样

(2) spark.executor.extraClassPath和spark.executor.extraLibraryPath,与spark.driver.ExtraxxPath相同,前缀相同

课外路径和课外路径有什么区别

spark官方网站上spark.executor.extraLibraryPath的说明

Set a special library path to use when launching executor JVM's.
我不明白,这个解释和--jars和spark.executor.extraClassPath有什么区别


我期待您的解释和回答,谢谢。

您找到合适的解释了吗?