如何使用ApacheSpark将JSON文件转换为拼花地板？

我是Apache Spark 1.3.1的新手。如何将JSON文件转换为拼花地板？

Spark 1.4及更高版本

您可以使用sparkSQL首先将JSON文件读入数据框，然后将数据框作为拼花文件写入

val df = sqlContext.read.json("path/to/json/file")
df.write.parquet("path/to/parquet/file")

或

检查和以获取示例和更多详细信息

火花1.3.1

与Windows和Spark 1.3.1相关的问题

在Windows上将数据帧保存为拼花文件将抛出java.lang.NullPointerException，如前所述

---

那么,，请考虑升级到一个最近的星火版本。

@ EdDAR.StAK我已经更新了我的答案，包括Skest1.3.1，当我尝试SavasPARQuETFILE时，你在Shell Shell或在井手的某个地方尝试了这个吗？我使用SCAK-1.3.1-BIN HADOP2.6使用Skas-Shell IAM，你也可以使用Apache演练来安装。您可以在一行SQL中将JSON从本地文件系统转换为HDFS拼花：CREATE TABLE dfs.drill./test5/AS SELECT*from dfs.gen./2016/10/*/*.JSON e；，如果您感兴趣=>。

df.save("path/to/parquet/file", "parquet")

val df = sqlContext.jsonFile("path/to/json/file")
df.saveAsParquetFile("path/to/parquet/file")