Amazon s3 使用spark从S3获取禁止的错误读数
我已经设置了spark配置,包括S3访问密钥和密钥以及设置impl 我可以在执行sqlContext.getAllConfs时看到这些值 但是我在将文本文件读入df时遇到了一个禁止的错误Amazon s3 使用spark从S3获取禁止的错误读数,amazon-s3,apache-spark-sql,Amazon S3,Apache Spark Sql,我已经设置了spark配置,包括S3访问密钥和密钥以及设置impl 我可以在执行sqlContext.getAllConfs时看到这些值 但是我在将文本文件读入df时遇到了一个禁止的错误 val df = sqlContext.read .format("com.databricks.spark.csv") .option("header", "true") // Use first line of all files as header .option("d
val df = sqlContext.read
.format("com.databricks.spark.csv")
.option("header", "true") // Use first line of all files as header
.option("delimiter", delimiter)
// Infer all columns as String
.option("inferSchema", "false")
option("mode", "FAILFAST")
.option("parserLIb", "univelocity")
.option("charset", "utf-8")
.load(s"$path/$fileName$fileExtension")
.replaceNullValues()
.removeSpecialChars()
文件存在于S3上,路径为s3a:///文件夹….可能是您的帐户没有读取该文件的权限,但这也可能意味着该文件是使用您没有使用权限的KMS密钥加密的