Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala Spark Streaming writeStream未写入文件_Scala_Apache Spark - Fatal编程技术网

Scala Spark Streaming writeStream未写入文件

Scala Spark Streaming writeStream未写入文件,scala,apache-spark,Scala,Apache Spark,如果我的输出格式是“控制台”,writeStream似乎可以工作,但如果我的输出格式是“拼花地板”,writeStream就不能工作。是否有我缺少的其他设置或配置 import org.apache.spark.sql.DataFrame 导入org.apache.spark.sql.types_ 对象数据流使用上下文扩展应用程序{ val customSchema=StructType(数组( StructField(“x”,双重类型), 结构域(“y”,双类型), StructField(“

如果我的输出格式是“控制台”,writeStream似乎可以工作,但如果我的输出格式是“拼花地板”,writeStream就不能工作。是否有我缺少的其他设置或配置

import org.apache.spark.sql.DataFrame
导入org.apache.spark.sql.types_
对象数据流使用上下文扩展应用程序{
val customSchema=StructType(数组(
StructField(“x”,双重类型),
结构域(“y”,双类型),
StructField(“名称”,StringType)
))
def readFromParquet():单位={
val sourceDF:DataFrame=spark.readStream
.schema(customSchema)
.parquet(“/path/to/source/”)
sourceDF
.writeStream
.格式(“控制台”)
.outputMode(“追加”)
.start()
.终止
sourceDF
.writeStream
.格式(“拼花地板”)
.option(“路径”、“/output/path/”)
.outputMode(“追加”)
.start()
.终止
}
readFromParquet()
}

奇怪。我所要做的就是发表评论

//sourceDF
//.writeStream
//.格式(“控制台”)
//.outputMode(“追加”)
//.start()
//.终止
并更新

sourceDF
.writeStream
.格式(“拼花地板”)
.选项(“路径”、“某个路径”)
.选项(“检查点位置”、“SOMEPATH”)
.outputMode(“追加”)
.start()
.终止
而且效果很好