Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services Spark org.postgresql.Driver未找到,即使它';s配置的电子病历_Amazon Web Services_Apache Spark_Pyspark_Amazon Emr - Fatal编程技术网

Amazon web services Spark org.postgresql.Driver未找到,即使它';s配置的电子病历

Amazon web services Spark org.postgresql.Driver未找到,即使它';s配置的电子病历,amazon-web-services,apache-spark,pyspark,amazon-emr,Amazon Web Services,Apache Spark,Pyspark,Amazon Emr,我正在尝试使用以下代码将pyspark数据帧写入Postgres数据库: mode = "overwrite" url = "jdbc:postgresql://host/database" properties = {"user": "user","password": "password","driver": "org.postgresql.Driver"} dfTestWrite.write.jdbc(url=url, table="test_result", mode=mode, pro

我正在尝试使用以下代码将pyspark数据帧写入Postgres数据库:

mode = "overwrite"
url = "jdbc:postgresql://host/database"
properties = {"user": "user","password": "password","driver": "org.postgresql.Driver"}
dfTestWrite.write.jdbc(url=url, table="test_result", mode=mode, properties=properties)
但是,我得到以下错误:

An error occurred while calling o236.jdbc.
: java.lang.ClassNotFoundException: org.postgresql.Driver
我发现了一些解决类似问题的问题,但没有发现任何有用的东西。我按照AWS文档添加了配置,从EMR控制台上看,似乎成功了:


我做错了什么?

您遵循的文档是为Presto添加数据库连接器,而不是将jdbc驱动程序添加到spark中。连接器并不意味着驾驶员


您应该下载postgresql jdbc驱动程序,并将其定位到spark lib目录或通过配置引用它的某个位置。

--jar将确保不属于spark的额外jar,或者您的应用程序jar将被发送到cluster@Lamanus谢谢,我已经下载了这个罐子,将其存储在S3上,并在配置时尝试将其连接到集群,但一直失败。你能更详细地介绍一下如何做到这一点吗?不是在s3上。它应该在服务器中。