Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Spark数据帧到JSON错误_Json_Apache Spark_Pyspark_Apache Spark Sql_Spark Dataframe - Fatal编程技术网

Spark数据帧到JSON错误

Spark数据帧到JSON错误,json,apache-spark,pyspark,apache-spark-sql,spark-dataframe,Json,Apache Spark,Pyspark,Apache Spark Sql,Spark Dataframe,我尝试了df.write.mode(“append”).json(targetPath)方法将多行写入json文件。不幸的是,输出似乎总是缺少对象之间的逗号。例如,我得到以下输出 {"time_stamp":"2016-12-08 01:45:00","Temperature":0.8,"Energy":111111.5,"Net_Energy":1111.3} {"time_stamp":"2016-12-08 02:00:00","Temperature":21.9,"Energy":222

我尝试了
df.write.mode(“append”).json(targetPath)
方法将多行写入json文件。不幸的是,输出似乎总是缺少对象之间的逗号。例如,我得到以下输出

{"time_stamp":"2016-12-08 01:45:00","Temperature":0.8,"Energy":111111.5,"Net_Energy":1111.3}
{"time_stamp":"2016-12-08 02:00:00","Temperature":21.9,"Energy":222222.5,"Net_Energy":222.0}
在我期待的时候

{"time_stamp":"2016-12-08 01:45:00","Temperature":0.8,"Energy":111111.5,"Net_Energy":1111.3},
{"time_stamp":"2016-12-08 02:00:00","Temperature":21.9,"Energy":222222.5,"Net_Energy":222.0}
正如您所见,输出中的两个对象之间没有逗号。 我遗漏了什么吗

另外,是否有一种方法可以将每一行保存在一个单独的JSON文件中,而不必使用昂贵的filter()方法


非常感谢您的帮助。

关于您的第一个问题,您得到的输出是正确的格式。json文件中的多个文档不是用逗号分隔的。可能是