File 可以修改HDFS文件吗?

File 可以修改HDFS文件吗?,file,hadoop,hdfs,File,Hadoop,Hdfs,我最近无意中听到一次对话,有人说HDFS文件无法修改 听到这个消息我很惊讶,因为我认为包括更新在内的所有文件操作都得到了支持。现在我知道HDFS针对流媒体进行了优化,但这与权限有关,还是严格禁止修改 注意:我指的是修改,而不是将数据追加到现有文件中。HDFS是一个仅追加的文件系统。要“更新”文件,需要收集文件的所有块,重写其内容,然后更新所有块位置 HDFS也没有针对流媒体进行优化。这就是为什么像卡夫卡、风暴、火花、弗林克、桑扎、NiFi等框架都存在的原因。它们与Hadoop集成,但将小批量文件

我最近无意中听到一次对话,有人说HDFS文件无法修改

听到这个消息我很惊讶,因为我认为包括更新在内的所有文件操作都得到了支持。现在我知道HDFS针对流媒体进行了优化,但这与权限有关,还是严格禁止修改


注意:我指的是修改,而不是将数据追加到现有文件中。

HDFS是一个仅追加的文件系统。要“更新”文件,需要收集文件的所有块,重写其内容,然后更新所有块位置

HDFS也没有针对流媒体进行优化。这就是为什么像卡夫卡、风暴、火花、弗林克、桑扎、NiFi等框架都存在的原因。它们与Hadoop集成,但将小批量文件流式传输到HDFS并不是它的优化目标

我不确定我是否理解关于权限的评论,但这些权限是由Namenode ACL或外部系统(如Ranger或Sentry)控制的

相反,如果您指的是配置单元表上的ACID事务,则通常使用短语“CRUD操作”