Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 将K-means集群信息ApacheSpark提取到JSON中_Java_Apache Spark_Apache Spark Mllib - Fatal编程技术网

Java 将K-means集群信息ApacheSpark提取到JSON中

Java 将K-means集群信息ApacheSpark提取到JSON中,java,apache-spark,apache-spark-mllib,Java,Apache Spark,Apache Spark Mllib,我将在Spark上执行。但我需要存储在JSON中的集群信息。怎样才能做到呢 注意:Python或Scala也可以 提前感谢 KMeansModel.clusterCenters只是一个本地数据结构(Scala/Java中的Array[Vector],Python中的NumPy数组列表)。这意味着您可以使用标准JSON处理库。例如,对于Python: 导入json json.dumps({“centers”:[clusters.clusterCenters中x的列表(x)]) 如果JSONL是可

我将在Spark上执行。但我需要存储在JSON中的集群信息。怎样才能做到呢

注意:Python或Scala也可以


提前感谢

KMeansModel.clusterCenters
只是一个本地数据结构(Scala/Java中的
Array[Vector]
,Python中的NumPy数组列表)。这意味着您可以使用标准JSON处理库。例如,对于Python:

导入json
json.dumps({“centers”:[clusters.clusterCenters中x的列表(x)])
如果JSONL是可接受的,您还可以并行化中心并使用
DataFrameWriter.write.json

val集群:org.apache.spark.mllib.clustering.KMeansModel=???
sc.parallelize(clusters.clusterCenters.zipWithIndex,1)
.toDF(“中心”、“id”)
.write.json(“centers.jsonl”)

您复制了示例页面上的代码。我们该怎么处理它呢?看看模型导出api:@eliasah抱歉,我是spark的新手。我将实现与示例代码相同的k-mean,以及我们最后得到的集群,我需要JSON中的信息并将其存储在一个文件中