Apache spark 未找到AWS EMR psycopg2模块_Apache Spark_Pyspark_Pip_Psycopg2_Amazon Emr

Apache spark 未找到AWS EMR psycopg2模块

apache-spark pyspark pip

Apache spark 未找到AWS EMR psycopg2模块,apache-spark,pyspark,pip,psycopg2,amazon-emr,Apache Spark,Pyspark,Pip,Psycopg2,Amazon Emr,我正在AWS Elastic Map Reduce集群中执行spark作业。我在bot3上也有同样的问题。但是，我用我的引导脚本修复了这个问题，如下所示 #!/bin/bash sudo pip-3.6 install boto3 sudo yum update -y 我试着用psycopg2做同样的事情，但它不起作用 #!/bin/bash sudo pip-3.6 install boto3 psycopg2 sudo python3 -m pip install psycopg2

我正在AWS Elastic Map Reduce集群中执行spark作业。我在

bot3

上也有同样的问题。但是，我用我的引导脚本修复了这个问题，如下所示

#!/bin/bash

sudo pip-3.6 install boto3
sudo yum update -y

我试着用

psycopg2

做同样的事情，但它不起作用

#!/bin/bash

sudo pip-3.6 install boto3 psycopg2
sudo python3 -m pip install psycopg2
sudo yum update -y

emr版本：5.29.0

什么不起作用？试试。上面的命令应该可以工作，有什么错误？什么不工作？试试。上面的命令应该可以工作，错误是什么？