pyspark.sql模块错误:worker中的Python版本2.7与驱动程序3.7中的版本不同,pyspark无法使用不同的次要版本运行 df=spark.read.parquet('xxx')) tmstmp=df[“时间戳”] spark.conf.set(“spark.sql.session.timeZone”,“Singapore”) time_df=spark.createDataFrame([('tmstmp',)],['unix_time']) 时间差。选择(从unixtime('unix\u time')。别名('ts'))。收集() df['timestamp']=时间 spark.conf.unset(“spark.sql.session.timeZone”)

pyspark.sql模块错误:worker中的Python版本2.7与驱动程序3.7中的版本不同,pyspark无法使用不同的次要版本运行 df=spark.read.parquet('xxx')) tmstmp=df[“时间戳”] spark.conf.set(“spark.sql.session.timeZone”,“Singapore”) time_df=spark.createDataFrame([('tmstmp',)],['unix_time']) 时间差。选择(从unixtime('unix\u time')。别名('ts'))。收集() df['timestamp']=时间 spark.conf.unset(“spark.sql.session.timeZone”),pyspark,jupyter,pyspark-sql,Pyspark,Jupyter,Pyspark Sql,此行有一个错误: time_df.select(from_unixtime('unix_time').alias('ts')).collect() 除了错误消息之外: 异常:worker中的Python版本2.7与驱动程序3.7中的版本不同,PySpark无法使用不同的次要版本运行。请检查环境变量PySpark_Python和PySpark_driver_Python是否正确设置 你收到的例外情况本身就很清楚。 您有一个包含两个或多个节点的集群。提交此命令的服务器/节点(master)与其他节

此行有一个错误:

time_df.select(from_unixtime('unix_time').alias('ts')).collect()
除了错误消息之外:

异常:worker中的Python版本2.7与驱动程序3.7中的版本不同,PySpark无法使用不同的次要版本运行。请检查环境变量PySpark_Python和PySpark_driver_Python是否正确设置


你收到的例外情况本身就很清楚。 您有一个包含两个或多个节点的集群。提交此命令的服务器/节点(master)与其他节点(worker)的python版本不同

可能的解决办法:

  • 升级worker nodes python版本或将
    PYSPARK\u python
    env设置为python3.7安装
  • 更改驱动程序python版本以匹配工作节点版本

    • 您收到的例外情况本身就非常清楚。 您有一个包含两个或多个节点的集群。提交此命令的服务器/节点(master)与其他节点(worker)的python版本不同

      可能的解决办法:

      • 升级worker nodes python版本或将
        PYSPARK\u python
        env设置为python3.7安装
      • 更改驱动程序python版本以匹配工作节点版本