Scala 如何选择下拉格式的数据帧输出
我的任务是每天创建集群报告。我能够通过Scala代码读取每个作业的作业Id和状态。但我无法以下拉格式存储每个日期的数据帧输出 前Scala 如何选择下拉格式的数据帧输出,scala,apache-spark,apache-spark-sql,Scala,Apache Spark,Apache Spark Sql,我的任务是每天创建集群报告。我能够通过Scala代码读取每个作业的作业Id和状态。但我无法以下拉格式存储每个日期的数据帧输出 前 像这样,每天有100个作业在运行。我想创建此报告。如果您可以使用saveAsTextFile使用mkstring函数在文件中写入,下面是一个简单的示例 val d = Seq( ("20180101","123","Successful", "1m"), ("20180102","234","fail", "0s") ).toDF("Date"
像这样,每天有100个作业在运行。我想创建此报告。如果您可以使用
saveAsTextFile
使用mkstring
函数在文件中写入,下面是一个简单的示例
val d = Seq(
("20180101","123","Successful", "1m"),
("20180102","234","fail", "0s")
).toDF("Date","Job_Id","job_Status","Run_Time")
d.rdd.map(x => x.mkString("\n--"))
.saveAsTextFile("outputFile")
输出:
20180101
--123
--Successful
--1m
20180102
--234
--fail
--0s
但我希望您可以以任何其他格式保存,以便以后更容易阅读
希望这有帮助 谢谢你的解决方案。我需要创建下拉输出。比如,如果我点击特定日期,它就会打开状态。Spark是一个数据分析框架,没有任何UI。在该上下文中引用UI下拉元素没有多大意义,也无助于试图回答您问题的人。
20180101
--123
--Successful
--1m
20180102
--234
--fail
--0s