Apache spark 如何自动清理spark Kafka检查点的检查点文件？
我有一个长期运行的spark structure流媒体工作来读取卡夫卡主题的数据。我使用s3作为卡夫卡检查点存储。它工作得很好。但是，我看到很多文件是在s3存储桶中创建的，用于偏移量和提交信息。是否有一些保留配置可以自动清理旧的检查点文件？或者我需要手动清理文件。谢谢Apache spark 如何自动清理spark Kafka检查点的检查点文件？,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我有一个长期运行的spark structure流媒体工作来读取卡夫卡主题的数据。我使用s3作为卡夫卡检查点存储。它工作得很好。但是，我看到很多文件是在s3存储桶中创建的，用于偏移量和提交信息。是否有一些保留配置可以自动清理旧的检查点文件？或者我需要手动清理文件。谢谢