Pyspark:使用Python从Spark 2.4连接到MS SQL Server 2017时,没有合适的驱动程序错误

Pyspark:使用Python从Spark 2.4连接到MS SQL Server 2017时,没有合适的驱动程序错误,python,sql-server,jdbc,pyspark,Python,Sql Server,Jdbc,Pyspark,我在使用python运行spark作业时遇到了一个问题,即pyspark。 请参阅下面的代码片段 from pyspark.sql import SparkSession from os.path import abspath from pyspark.sql.functions import max,min,sum,col from pyspark.sql import functions as F spark = SparkSession.builder.appName("test").co

我在使用python运行spark作业时遇到了一个问题,即pyspark。 请参阅下面的代码片段

from pyspark.sql import SparkSession
from os.path import abspath
from pyspark.sql.functions import max,min,sum,col
from pyspark.sql import functions as F
spark = SparkSession.builder.appName("test").config("spark.driver.extraClassPath", "/usr/dt/mssql-jdbc-6.4.0.jre8.jar").getOrCreate()
spark.conf.set("spark.sql.execution.arrow.enabled", "true")
spark.conf.set("spark.sql.session.timeZone", "Etc/UTC")
warehouse_loc = abspath('spark-warehouse')

#loading data from MS SQL Server 2017
df = spark.read.format("jdbc").options(url="jdbc:sqlserver://10.90.3.22;DATABASE=TransTrak_V_1.0;user=sa;password=m2m@ipcl1234",properties = { "driver": "com.microsoft.sqlserver.jdbc.SQLServerDriver" },dbtable="Current_Voltage").load()
运行此代码时,我面临以下错误:

py4j.protocol.Py4JJavaError: An error occurred while calling o38.load.
: java.sql.SQLException: No suitable driver
与以前正常运行时使用的代码相同。然而,由于某些原因,我不得不重新安装centOS 7,然后是Python 3.6。我已经将Python3.6设置为spark中的默认python,即启动python spark时,默认python为3.6

只需提及,系统默认python是Python2.7。我正在使用centOS 7


这里出了什么问题?有人能帮忙吗

好的,经过长时间的搜索,spark可能无法与
openjdk
一起正常工作,即
java-1.8.0-openjdk-1.8.0.131-11.b12.el7.x86_64
。当我看到缺省Java时,我看到它如下所示

openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-b12)
OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)
然后我尝试从官方网站安装OracleJDK8,然而,随后我遇到了不同的问题。
所以简而言之,我不能像以前那样管理spark工作

任何人都可以帮忙。正如我所说,这是运行良好早些时候。这是因为Spark 2.4.3版本吗?我猜这是因为jdbc驱动程序与数据库不匹配。有同样的问题吗,Python3,Mac中的openjdk