Pyspark-设置本地核心和应用程序名称,并使用UTC作为时区
我正在尝试使用SparkConf对象创建SparkSession,以便使用两个具有正确应用程序名称的本地内核,并使用UTC作为时区。我还参考了Pyspark在线文档,并得出以下结论:Pyspark-设置本地核心和应用程序名称,并使用UTC作为时区,pyspark,apache-spark-sql,Pyspark,Apache Spark Sql,我正在尝试使用SparkConf对象创建SparkSession,以便使用两个具有正确应用程序名称的本地内核,并使用UTC作为时区。我还参考了Pyspark在线文档,并得出以下结论: 你们谁能告诉我我的方向是否正确?在我学习这门新语言的过程中,我将非常感谢您的帮助。要为您的spark会话设置时区,您也可以在spark配置下面设置 .config('spark.sql.session.timeZone', 'UTC') \ .config('spark.driver.extraJavaOptio
你们谁能告诉我我的方向是否正确?在我学习这门新语言的过程中,我将非常感谢您的帮助。要为您的spark会话设置时区,您也可以在spark配置下面设置
.config('spark.sql.session.timeZone', 'UTC') \
.config('spark.driver.extraJavaOptions', '-Duser.timezone=UTC') \
.config('spark.executor.extraJavaOptions', '-Duser.timezone=UTC')