Apache spark 读取新csv文件时,Spark streaming聚合流未更新
我正在尝试通过pyspark运行一些Spark流媒体的基本示例,而最新版本(3.0.1)的行为并不像宣传的那样,也不像我记忆中的以前版本那样 具体来说,我设置了一个流式DF来从文件夹中读取csv文件。每个文件包含两列:stock和value,以及一系列随机生成的4种不同股票的股票值。例如: 股票 价值 HPE 11.7014 NHPI 0.00672 NHPI 0.00714 NHPI 0.008232 茨拉 337.9674Apache spark 读取新csv文件时,Spark streaming聚合流未更新,apache-spark,pyspark,spark-structured-streaming,Apache Spark,Pyspark,Spark Structured Streaming,我正在尝试通过pyspark运行一些Spark流媒体的基本示例,而最新版本(3.0.1)的行为并不像宣传的那样,也不像我记忆中的以前版本那样 具体来说,我设置了一个流式DF来从文件夹中读取csv文件。每个文件包含两列:stock和value,以及一系列随机生成的4种不同股票的股票值。例如: 股票 价值 HPE 11.7014 NHPI 0.00672 NHPI 0.00714 NHPI 0.008232 茨拉 337.9674 这可能是因为你的avg值是它们的平均值,所以给出了相同的结果吗?你能
这可能是因为你的
avg
值是它们的平均值,所以给出了相同的结果吗?你能用计数吗?是的,我试过了。计数也没有更新。这可能是因为您的avg
值是它们的平均值,所以给出了相同的结果吗?你能用计数吗?是的,我试过了。计数也没有更新。