Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/18.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 在Intellij中可视化结构化流式写入流式处理输出_Scala_Apache Spark_Data Visualization_Spark Structured Streaming - Fatal编程技术网
Fatal编程技术网
  • scala/
  • Scala 在Intellij中可视化结构化流式写入流式处理输出

Scala 在Intellij中可视化结构化流式写入流式处理输出

scala apache-spark

Scala 在Intellij中可视化结构化流式写入流式处理输出,scala,apache-spark,data-visualization,spark-structured-streaming,Scala,Apache Spark,Data Visualization,Spark Structured Streaming,我在Intellij中有我的结构化流式scala应用程序 使用以下命令以writeStream（）形式获取结果后： val streamingDS = data .writeStream .format("json") .option("checkpointLocation", path) .option("path",path) .start() .awaitTermination() 如何使用此处描述的display（）函数功能在Intellij中实时可视化writ

我在Intellij中有我的结构化流式scala应用程序

使用以下命令以writeStream（）形式获取结果后：

val streamingDS = data
  .writeStream
  .format("json")
  .option("checkpointLocation", path)
  .option("path",path)
  .start()
  .awaitTermination()
如何使用此处描述的
display（）
函数功能在Intellij中实时可视化writeStream输出

函数在Intellij中似乎不可用。请帮忙。

tl；dr
显示
-在笔记本电脑环境（如Databricks）之外，类似功能不可用

最接近的方法是使用
console
格式将行打印到console

val streamingDS = data
  .writeStream
  .format("console") // <-- use console
  .option("checkpointLocation", path)
  .option("path",path)
  .start()
  .awaitTermination()

val streamingDS=数据
.writeStream

.format（“console”）/
显示是Databricks功能，在任何其他环境中仅使用Spark时不可用

但是，您可以使用
控制台接收器
调试流式处理的输出，有关详细信息，请参阅

您必须将代码更改为


data
  .writeStream
  .outputMode("complete")
  .format("console")
  .start()
  .awaitTermination()



好的，现在最好的方式是什么来可视化以写流形式生成的输出？