Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/php/261.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Pyspark-设置本地核心和应用程序名称,并使用UTC作为时区_Pyspark_Apache Spark Sql - Fatal编程技术网

Pyspark-设置本地核心和应用程序名称,并使用UTC作为时区

Pyspark-设置本地核心和应用程序名称,并使用UTC作为时区,pyspark,apache-spark-sql,Pyspark,Apache Spark Sql,我正在尝试使用SparkConf对象创建SparkSession,以便使用两个具有正确应用程序名称的本地内核,并使用UTC作为时区。我还参考了Pyspark在线文档,并得出以下结论: 你们谁能告诉我我的方向是否正确?在我学习这门新语言的过程中,我将非常感谢您的帮助。要为您的spark会话设置时区,您也可以在spark配置下面设置 .config('spark.sql.session.timeZone', 'UTC') \ .config('spark.driver.extraJavaOptio

我正在尝试使用SparkConf对象创建SparkSession,以便使用两个具有正确应用程序名称的本地内核,并使用UTC作为时区。我还参考了Pyspark在线文档,并得出以下结论:


你们谁能告诉我我的方向是否正确?在我学习这门新语言的过程中,我将非常感谢您的帮助。

要为您的spark会话设置时区,您也可以在spark配置下面设置

.config('spark.sql.session.timeZone', 'UTC') \
.config('spark.driver.extraJavaOptions', '-Duser.timezone=UTC') \
.config('spark.executor.extraJavaOptions', '-Duser.timezone=UTC')