Mapreduce HDFS：如何使书写原子化？
我有一些（奇怪的）用例，需要从多个映射器写入HDFS文件（侧HDFS文件）。但我不确定在不破坏文件完整性的情况下是否允许这样做。请告知。谢谢 HDFS本身没有满足这种需求的产品。一个文件在一个点上仅支持一个活动写入程序 您可以在编写器中使用分布式锁定机制，在每个写入实例处追加和关闭（速度慢，但可以实现您想要的），或者单独写入并在最后合并（在分布式环境中更快）Mapreduce HDFS：如何使书写原子化？,mapreduce,hdfs,Mapreduce,Hdfs,我有一些（奇怪的）用例，需要从多个映射器写入HDFS文件（侧HDFS文件）。但我不确定在不破坏文件完整性的情况下是否允许这样做。请告知。谢谢 HDFS本身没有满足这种需求的产品。一个文件在一个点上仅支持一个活动写入程序 您可以在编写器中使用分布式锁定机制，在每个写入实例处追加和关闭（速度慢，但可以实现您想要的），或者单独写入并在最后合并（在分布式环境中更快）