Apache spark spark拼花地板表数据hdfs文件夹权限问题

Apache spark spark拼花地板表数据hdfs文件夹权限问题,apache-spark,hive,apache-spark-sql,hdfs,parquet,Apache Spark,Hive,Apache Spark Sql,Hdfs,Parquet,我面临着作为spark作业的一部分创建的hdfs文件夹的问题。在使用774创建文件夹之前。但最近它被创建为700。我们没有更改任何代码,因此怀疑spark Infra升级会导致此问题。我在哪里可以查这个 SPARK版本2.3.0.cloudera3 HIVE版本1.1.0-cdh5.16.1您是否检查了hdfs site.xml中的fs.permissions.umask mode?mazaneicha。感谢您的回复,我选择了相同的its 027,这意味着其他人没有角色。由于这是群集级别的设置,

我面临着作为spark作业的一部分创建的hdfs文件夹的问题。在使用774创建文件夹之前。但最近它被创建为700。我们没有更改任何代码,因此怀疑spark Infra升级会导致此问题。我在哪里可以查这个

SPARK版本2.3.0.cloudera3
HIVE版本1.1.0-cdh5.16.1

您是否检查了hdfs site.xml中的
fs.permissions.umask mode
?mazaneicha。感谢您的回复,我选择了相同的its 027,这意味着其他人没有角色。由于这是群集级别的设置,并且由多个团队使用,因此我不确定是否可以在群集级别对其进行更改。有没有一种方法可以在应用程序级别覆盖此行为以供其他人阅读?我从另一个我可以指定的线程获得——启动时的conf spark.hadoop.fs.permissions.umask-mode。您是否检查了hdfs site.xml中的
fs.permissions.umask-mode
。@mazaneicha。感谢您的回复,我检查了相同的its 027,因此这意味着您没有角色其他人是rit。由于这是群集级别的设置,并且由多个团队使用,因此我不确定是否可以在群集级别对其进行更改。有没有一种方法可以在应用程序级别覆盖此行为,以使其他人可以低读?我从另一个线程获得,我可以在启动时指定它--conf spark.hadoop.fs.permissions.umask-mode