Java Spark结构化流:将行转换为json
我正在尝试仅使用spark API将DataFrame行转换为json字符串 从输入行 与 使用KafkaWriter,即使用row.toString,我得到: 如果我想得到这个:Java Spark结构化流:将行转换为json,java,json,scala,apache-spark,spark-structured-streaming,Java,Json,Scala,Apache Spark,Spark Structured Streaming,我正在尝试仅使用spark API将DataFrame行转换为json字符串 从输入行 与 使用KafkaWriter,即使用row.toString,我得到: 如果我想得到这个: { "someThing":"life", "else":42 } 没有[] 有什么想法吗?刚刚找到了解决办法。使用Row.mkString而不是Row.toString解决了我的问题 myDataFrame .select(struct("*").as("col")) .select(to_j
{
"someThing":"life",
"else":42
}
没有[]
有什么想法吗?刚刚找到了解决办法。使用Row.mkString而不是Row.toString解决了我的问题
myDataFrame
.select(struct("*").as("col"))
.select(to_json(col("col")))
.writeStream()
.foreach(new KafkaWriter())
.start()
[{
"someThing":"life",
"else":42
}]
{
"someThing":"life",
"else":42
}