pyspark.sql模块错误:worker中的Python版本2.7与驱动程序3.7中的版本不同,pyspark无法使用不同的次要版本运行 df=spark.read.parquet('xxx')) tmstmp=df[“时间戳”] spark.conf.set(“spark.sql.session.timeZone”,“Singapore”) time_df=spark.createDataFrame([('tmstmp',)],['unix_time']) 时间差。选择(从unixtime('unix\u time')。别名('ts'))。收集() df['timestamp']=时间 spark.conf.unset(“spark.sql.session.timeZone”)
此行有一个错误:pyspark.sql模块错误:worker中的Python版本2.7与驱动程序3.7中的版本不同,pyspark无法使用不同的次要版本运行 df=spark.read.parquet('xxx')) tmstmp=df[“时间戳”] spark.conf.set(“spark.sql.session.timeZone”,“Singapore”) time_df=spark.createDataFrame([('tmstmp',)],['unix_time']) 时间差。选择(从unixtime('unix\u time')。别名('ts'))。收集() df['timestamp']=时间 spark.conf.unset(“spark.sql.session.timeZone”),pyspark,jupyter,pyspark-sql,Pyspark,Jupyter,Pyspark Sql,此行有一个错误: time_df.select(from_unixtime('unix_time').alias('ts')).collect() 除了错误消息之外: 异常:worker中的Python版本2.7与驱动程序3.7中的版本不同,PySpark无法使用不同的次要版本运行。请检查环境变量PySpark_Python和PySpark_driver_Python是否正确设置 你收到的例外情况本身就很清楚。 您有一个包含两个或多个节点的集群。提交此命令的服务器/节点(master)与其他节
time_df.select(from_unixtime('unix_time').alias('ts')).collect()
除了错误消息之外:
异常:worker中的Python版本2.7与驱动程序3.7中的版本不同,PySpark无法使用不同的次要版本运行。请检查环境变量PySpark_Python和PySpark_driver_Python是否正确设置
你收到的例外情况本身就很清楚。 您有一个包含两个或多个节点的集群。提交此命令的服务器/节点(master)与其他节点(worker)的python版本不同 可能的解决办法:
- 升级worker nodes python版本或将
env设置为python3.7安装李>PYSPARK\u python
- 更改驱动程序python版本以匹配工作节点版本
- 升级worker nodes python版本或将
env设置为python3.7安装李>PYSPARK\u python
- 更改驱动程序python版本以匹配工作节点版本
- 您收到的例外情况本身就非常清楚。
您有一个包含两个或多个节点的集群。提交此命令的服务器/节点(master)与其他节点(worker)的python版本不同
可能的解决办法: