Hadoop 有没有办法为HDFS中的某些目录设置TTL?

Hadoop 有没有办法为HDFS中的某些目录设置TTL?,hadoop,hdfs,ttl,Hadoop,Hdfs,Ttl,我有以下要求。我正在向HDFS中的特定目录添加日期数据,我需要保留最后3组数据的备份,并删除其余数据。有没有一种方法可以为目录设置一个TTL,以便数据在一定天数后自动消失 如果没有,是否有办法获得类似的结果?此功能在HDFS上尚不可用 已创建JIRA票证以支持此功能: 但是,修复程序还不可用 您需要使用cron作业来处理它。您可以创建一个作业(可以是一个简单的Shell、Perl或Python脚本),该作业定期删除早于某个预先配置的时间段的数据 这项工作可以: 定期运行(例如,每小时一次或每天

我有以下要求。我正在向HDFS中的特定目录添加日期数据,我需要保留最后3组数据的备份,并删除其余数据。有没有一种方法可以为目录设置一个TTL,以便数据在一定天数后自动消失


如果没有,是否有办法获得类似的结果?

此功能在HDFS上尚不可用

已创建JIRA票证以支持此功能:

但是,修复程序还不可用

您需要使用cron作业来处理它。您可以创建一个作业(可以是一个简单的Shell、Perl或Python脚本),该作业定期删除早于某个预先配置的时间段的数据

这项工作可以:

  • 定期运行(例如,每小时一次或每天一次)
  • 将需要检查的文件夹或文件列表及其TTL作为输入
  • 删除任何早于指定TTL的文件或文件夹
这可以通过使用脚本轻松实现