Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 使用spark从S3获取禁止的错误读数_Amazon S3_Apache Spark Sql - Fatal编程技术网

Amazon s3 使用spark从S3获取禁止的错误读数

Amazon s3 使用spark从S3获取禁止的错误读数,amazon-s3,apache-spark-sql,Amazon S3,Apache Spark Sql,我已经设置了spark配置,包括S3访问密钥和密钥以及设置impl 我可以在执行sqlContext.getAllConfs时看到这些值 但是我在将文本文件读入df时遇到了一个禁止的错误 val df = sqlContext.read .format("com.databricks.spark.csv") .option("header", "true") // Use first line of all files as header .option("d

我已经设置了spark配置,包括S3访问密钥和密钥以及设置impl

我可以在执行sqlContext.getAllConfs时看到这些值

但是我在将文本文件读入df时遇到了一个禁止的错误

val df = sqlContext.read
      .format("com.databricks.spark.csv")
      .option("header", "true") // Use first line of all files as header
      .option("delimiter", delimiter)
      // Infer all columns as String
      .option("inferSchema", "false")
      option("mode", "FAILFAST")
      .option("parserLIb", "univelocity")
      .option("charset", "utf-8")
      .load(s"$path/$fileName$fileExtension")
      .replaceNullValues()
      .removeSpecialChars()

文件存在于S3上,路径为s3a:///文件夹….

可能是您的帐户没有读取该文件的权限,但这也可能意味着该文件是使用您没有使用权限的KMS密钥加密的