Fatal编程技术网
  • java/
  • 用java从s3读取拼花文件

用java从s3读取拼花文件

java amazon-s3

用java从s3读取拼花文件,java,amazon-s3,parquet,Java,Amazon S3,Parquet,我是Java和spark sql的新手。我想知道，在我的Java代码中，是否有一种方法可以读取S3中保存为JSON格式的Spark Parquet类型的文件？谢谢您的方法。我采用了这种方法，但是我在线程“main”java.lang.RuntimeException:java.lang.ClassNotFoundException:Class org.apache.hadoop.fs.s3native.NativeS3FileSystem中得到了以下错误异常：找不到sparkSession sp

我是Java和spark sql的新手。我想知道，在我的Java代码中，是否有一种方法可以读取S3中保存为JSON格式的Spark Parquet类型的文件？

谢谢您的方法。我采用了这种方法，但是我在线程“main”java.lang.RuntimeException:java.lang.ClassNotFoundException:Class org.apache.hadoop.fs.s3native.NativeS3FileSystem中得到了以下错误
异常：找不到
sparkSession spark=sparkSession.builder（）.appName（“appName”）.config（“spark.hadoop.fs.s3n.impl”、“org.apache.hadoop.fs.s3native.NativeS3FileSystem”）.master（“local[1]”）.getOrCreate（）
您能告诉我我遗漏了什么吗？不要使用
NativeS3FileSystem
jsue默认S3实现，并使用
s3a://
jsue从spark访问S3文件


val spark = SparkSession.builder()
      .master("local[1]")
      .getOrCreate()

spark.read().json("s3a://your/json/path.json")

spark.write().parquet("parquet/file/path.parquet")