Python 使用Pyspark将JSON文件读取为Pyspark数据帧？

如何读取以下JSON结构以使用PySpark触发数据帧

我的JSON结构

{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}

我试过：

df = spark.read.json('simple.json');

我希望输出a、b、c作为列，值作为各自的行

---

谢谢

Json字符串变量

如果您有json字符串作为变量，那么您可以这样做

simple_json = '{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}'
rddjson = sc.parallelize([simple_json])
df = sqlContext.read.json(rddjson)

from pyspark.sql import functions as F
df.select(F.explode(df.results).alias('results')).select('results.*').show(truncate=False)

这会给你

+---+---+----+
|a  |b  |c   |
+---+---+----+
|1  |2  |name|
|2  |5  |foo |
+---+---+----+

Json字符串作为文件中的独立行（sparkContext和sqlContext）

如果文件中有json字符串作为单独的行，那么可以使用sparkContext将其读入rdd[string]，如上所述，其余过程与上述相同

rddjson = sc.textFile('/home/anahcolus/IdeaProjects/pythonSpark/test.csv')
df = sqlContext.read.json(rddjson)
df.select(F.explode(df['results']).alias('results')).select('results.*').show(truncate=False)

Json字符串作为文件中的单独行（仅限sqlContext）

如果文件中有json字符串作为单独的行，那么只能使用

sqlContext

。但是这个过程很复杂，因为您必须为它创建模式

这会给你和上面一样的结果

我希望答案是有帮助的

!pip install findspark
!pip install pyspark
import findspark
import pyspark
findspark.init()
sc = pyspark.SparkContext.getOrCreate()
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('abc').getOrCreate()

让我们生成自己的JSON数据 这样我们就不必访问文件系统了

stringJSONRDD = sc.parallelize((""" 
  { "id": "123",
    "name": "Katie",
    "age": 19,
    "eyeColor": "brown"
  }""",
   """{
    "id": "234",
    "name": "Michael",
    "age": 22,
    "eyeColor": "green"
  }""", 
  """{
    "id": "345",
    "name": "Simone",
    "age": 23,
    "eyeColor": "blue"
  }""")
)

然后创建数据帧

swimmersJSON = spark.read.json(stringJSONRDD)

创建临时表

swimmersJSON.createOrReplaceTempView("swimmersJSON")

---

希望这对你有帮助。关于完整的代码，您可以参考这篇。

在5小时后登陆这里，我只能用pandas找到解决方案，而不是pyspark。谢谢然而，用模式阅读它是相当棘手的

swimmersJSON.createOrReplaceTempView("swimmersJSON")

from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.sql.functions import explode

spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
json_data = '{"results":[{"a":1,"b":2,"c":"name"},{"a":2,"b":5,"c":"foo"}]}'
json_rdd = sc.parallelize([json_data])
df = spark.read.json(json_rdd)
df =df.withColumn("results", explode(df.results)).select( 
                         col("results.a").alias("a"),
                         col("results.b").alias("b"),
                         col("results.c").alias("c") ) 
df.show()