Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/19.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
在scala spark运行时设置目录权限_Scala_Hadoop_Apache Spark_Pyspark_Spark Dataframe - Fatal编程技术网

在scala spark运行时设置目录权限

在scala spark运行时设置目录权限,scala,hadoop,apache-spark,pyspark,spark-dataframe,Scala,Hadoop,Apache Spark,Pyspark,Spark Dataframe,我正试图在HDFS上的spark代码中创建一个目录,并在其中写入一个文件。但在编写过程中,它出现了以下错误 Permission denied: user=root, access=WRITE, inode="/root/test/_temporary/0":hdfs:hadoop:drwxr-xr-x 在scala中,如何在运行时设置目录的权限 更新 我正在使用这些命令授予对已创建目录的权限 dir.canExecute() dir.canRead() dir.canWrite

我正试图在HDFS上的spark代码中创建一个目录,并在其中写入一个文件。但在编写过程中,它出现了以下错误

Permission denied: user=root, access=WRITE, 
inode="/root/test/_temporary/0":hdfs:hadoop:drwxr-xr-x
在scala中,如何在运行时设置目录的权限

更新

我正在使用这些命令授予对已创建目录的权限

  dir.canExecute()
  dir.canRead()
  dir.canWrite()

  dir.setWritable(true, false)
  dir.setReadable(true,false)
  dir.setExecutable(true, false)

感谢philantrovert对此进行了研究,但我意识到,尽管我在运行时成功地创建了目录,并且dir.canWrite()返回true,但这是在EMR上,目录是在服务器上创建的,但Spark实际上试图在不存在此类文件夹的情况下写入HDFS。-:)

感谢philantrovert对此进行了研究,但我意识到,尽管我在运行时成功创建了目录,并且dir.canWrite()返回true,但这是在EMR上创建的,目录是在服务器上创建的,但Spark实际上试图在不存在此类文件夹的情况下写入HDFS。-:)

您是如何创建该目录的?执行
dir.canWrite()
时会得到什么?您是如何创建该目录的?执行
dir.canWrite()
时会得到什么?