Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 读取新csv文件时,Spark streaming聚合流未更新_Apache Spark_Pyspark_Spark Structured Streaming - Fatal编程技术网

Apache spark 读取新csv文件时,Spark streaming聚合流未更新

Apache spark 读取新csv文件时,Spark streaming聚合流未更新,apache-spark,pyspark,spark-structured-streaming,Apache Spark,Pyspark,Spark Structured Streaming,我正在尝试通过pyspark运行一些Spark流媒体的基本示例,而最新版本(3.0.1)的行为并不像宣传的那样,也不像我记忆中的以前版本那样 具体来说,我设置了一个流式DF来从文件夹中读取csv文件。每个文件包含两列:stock和value,以及一系列随机生成的4种不同股票的股票值。例如: 股票 价值 HPE 11.7014 NHPI 0.00672 NHPI 0.00714 NHPI 0.008232 茨拉 337.9674 这可能是因为你的avg值是它们的平均值,所以给出了相同的结果吗?你能

我正在尝试通过pyspark运行一些Spark流媒体的基本示例,而最新版本(3.0.1)的行为并不像宣传的那样,也不像我记忆中的以前版本那样

具体来说,我设置了一个流式DF来从文件夹中读取csv文件。每个文件包含两列:stock和value,以及一系列随机生成的4种不同股票的股票值。例如:

股票 价值 HPE 11.7014 NHPI 0.00672 NHPI 0.00714 NHPI 0.008232 茨拉 337.9674
这可能是因为你的
avg
值是它们的平均值,所以给出了相同的结果吗?你能用计数吗?是的,我试过了。计数也没有更新。这可能是因为您的
avg
值是它们的平均值,所以给出了相同的结果吗?你能用计数吗?是的,我试过了。计数也没有更新。