Apache spark 在glue中加载红移jdbc url的spark sql上下文时出错

您好，我正在尝试从glue job中的大量红移表中获取月份数据

据我所知，这方面的胶水文档非常有限。 该查询在SQL Workbench中运行良好，我使用glue“myjdbc_url”中使用的相同jdbc连接连接了该工作台

下面是我尝试过的，看到的错误-

from pyspark.context import SparkContext
sc = SparkContext()
sql_context = SQLContext(sc)
df1 = sql_context.read \
            .format("jdbc") \
            .option("url", myjdbc_url) \
            .option("query", mnth_query) \
            .option("forward_spark_s3_credentials","true") \
            .option("tempdir", "s3://my-bucket/sprk") \
            .load()
print("Total recs for month :"+str(mnthval)+" df1 -> "+str(df1.count()))

但是，它在日志中显示驱动程序错误，如下所示-

：java.sql.SQLException:没有合适的驱动程序 位于java.sql.DriverManager.getDriver（DriverManager.java:315） 位于org.apache.spark.sql.execution.datasources.jdbc.jdboptions$$anonfun$6.apply（jdboptions.scala:105） 位于org.apache.spark.sql.execution.datasources.jdbc.jdboptions$$anonfun$6.apply（jdboptions.scala:105） 位于scala.Option.getOrElse（Option.scala:121）

我也用过下面的方法，但没有用。最终以联系结束 拒绝错误

要使用的正确驱动程序是什么。因为我正在使用glue，它是一种托管服务，在后台具有临时集群。不知道我错过了什么。 请帮忙，什么是正确的司机

sql_context.read \
                .format("com.databricks.spark.redshift")
                .option("url", myjdbc_url) \
                .option("query", mnth_query) \
                .option("forward_spark_s3_credentials","true") \
                .option("tempdir", "s3://my-bucket/sprk") \
                .load()