Linux HDFS如何同时将多个文件写入底层本地文件系统?

Linux HDFS如何同时将多个文件写入底层本地文件系统?,linux,asynchronous,hadoop,hdfs,Linux,Asynchronous,Hadoop,Hdfs,在我完全理解HDFS之前,我想知道如果它同时写入多个文件,它如何保持高性能 例如,当前在一个数据节点上有100个文件可供读取或写入。我认为它不只是使用几个线程来执行正常的同步IO操作。HDFS是创建100个工作线程来处理它们,还是使用一些异步IO机制而没有这么多线程?是的,datanode将使用100个线程来处理请求。Hadoop HDFS数据节点在任何时候都会提供文件数量的上限。上限参数是dfs.datanode.max.xcievers。默认UPPER界限为256

在我完全理解HDFS之前,我想知道如果它同时写入多个文件,它如何保持高性能


例如,当前在一个数据节点上有100个文件可供读取或写入。我认为它不只是使用几个线程来执行正常的同步IO操作。HDFS是创建100个工作线程来处理它们,还是使用一些异步IO机制而没有这么多线程?

是的,datanode将使用100个线程来处理请求。Hadoop HDFS数据节点在任何时候都会提供文件数量的上限。上限参数是dfs.datanode.max.xcievers。默认UPPER界限为256