Apache spark spark提交java.lang.ClassNotFoundException:com.microsoft.sqlserver.jdbc.SQLServerDriver_Apache Spark_Pyspark_Yarn_Spark Submit

Apache spark spark提交java.lang.ClassNotFoundException:com.microsoft.sqlserver.jdbc.SQLServerDriver

apache-spark pyspark

Apache spark spark提交java.lang.ClassNotFoundException:com.microsoft.sqlserver.jdbc.SQLServerDriver,apache-spark,pyspark,yarn,spark-submit,Apache Spark,Pyspark,Yarn,Spark Submit,spark提交--主线程--部署模式集群sqlserver.py--jars sqljdbc42.jar 我得到一个错误： java.lang.ClassNotFoundException:com.microsoft.sqlserver.jdbc.SQLServerDriver 当我使用--deploy mode client并将jar文件复制到/usr/hdp/current/spark2 client/jars/sqljdbc42.jar时，一切正常我应该在所有数据节点上将sqljdbc4

spark提交--主线程--部署模式集群sqlserver.py--jars sqljdbc42.jar

我得到一个错误：

java.lang.ClassNotFoundException:com.microsoft.sqlserver.jdbc.SQLServerDriver

当我使用

--deploy mode client

并将jar文件复制到/usr/hdp/current/spark2 client/jars/sqljdbc42.jar时，一切正常

我应该在所有数据节点上将sqljdbc42.jar复制到/usr/hdp/current/hadoop-warn-client/lib/吗？

您使用哪一版本的spark？我使用的是spark 2.2.0.2.6.4.0-91和hdp 2.6.4.0-91，它在使用set（“spark.jars”，“/usr/hdp/current/spark2-client/jars/sqljdbc42.jar”）后工作