Scala Spark Streaming writeStream未写入文件
如果我的输出格式是“控制台”,writeStream似乎可以工作,但如果我的输出格式是“拼花地板”,writeStream就不能工作。是否有我缺少的其他设置或配置Scala Spark Streaming writeStream未写入文件,scala,apache-spark,Scala,Apache Spark,如果我的输出格式是“控制台”,writeStream似乎可以工作,但如果我的输出格式是“拼花地板”,writeStream就不能工作。是否有我缺少的其他设置或配置 import org.apache.spark.sql.DataFrame 导入org.apache.spark.sql.types_ 对象数据流使用上下文扩展应用程序{ val customSchema=StructType(数组( StructField(“x”,双重类型), 结构域(“y”,双类型), StructField(“
import org.apache.spark.sql.DataFrame
导入org.apache.spark.sql.types_
对象数据流使用上下文扩展应用程序{
val customSchema=StructType(数组(
StructField(“x”,双重类型),
结构域(“y”,双类型),
StructField(“名称”,StringType)
))
def readFromParquet():单位={
val sourceDF:DataFrame=spark.readStream
.schema(customSchema)
.parquet(“/path/to/source/”)
sourceDF
.writeStream
.格式(“控制台”)
.outputMode(“追加”)
.start()
.终止
sourceDF
.writeStream
.格式(“拼花地板”)
.option(“路径”、“/output/path/”)
.outputMode(“追加”)
.start()
.终止
}
readFromParquet()
}
奇怪。我所要做的就是发表评论
//sourceDF
//.writeStream
//.格式(“控制台”)
//.outputMode(“追加”)
//.start()
//.终止
并更新
sourceDF
.writeStream
.格式(“拼花地板”)
.选项(“路径”、“某个路径”)
.选项(“检查点位置”、“SOMEPATH”)
.outputMode(“追加”)
.start()
.终止
而且效果很好