Apache spark Spark shuffle目录的大小不断增长
洗牌文件和数据文件在workers的block manager文件夹中存储多长时间？（spark-a0ab5241-1b5e-4c73-93ed-f37bbc479591） 我有一个spark流媒体工作，窗口持续时间为2小时，幻灯片间隔为15分钟 在块管理器路径中执行以下命令时Apache spark Spark shuffle目录的大小不断增长,apache-spark,spark-streaming,Apache Spark,Spark Streaming,洗牌文件和数据文件在workers的block manager文件夹中存储多长时间？（spark-a0ab5241-1b5e-4c73-93ed-f37bbc479591） 我有一个spark流媒体工作，窗口持续时间为2小时，幻灯片间隔为15分钟 在块管理器路径中执行以下命令时 find . -type f -cmin +150 -name "shuffle*" -exec ls {} \; //command to find the shuffle files older than 2 hou
find . -type f -cmin +150 -name "shuffle*" -exec ls {} \; //command to find the shuffle files older than 2 hours