File 多个磁盘读/写操作可能导致瓶颈?

File 多个磁盘读/写操作可能导致瓶颈?,file,parallel-processing,disk,File,Parallel Processing,Disk,我已经做了很多工作,从30多个进程(通过安装在NFS上的4个节点)同时访问一个文件,我想知道,除了bandwith瓶颈之外,减少打开同一文件的连接是否有好处。具体地说 访问文件的这两种方式是否会有速度差异: 1个文件由5个单独的进程访问(仅读取) 5个单独的文件(原稿大小的1/5),由5个单独的进程访问(仅读取) 还有 即使磁盘带宽没有达到最大值,是否存在与打开太多文件连接相关的瓶颈?多个进程同时访问同一文件意味着锁定和序列化操作,至少在某种程度上是这样。在网络文件系统上,可以为任何操作插入显著

我已经做了很多工作,从30多个进程(通过安装在NFS上的4个节点)同时访问一个文件,我想知道,除了bandwith瓶颈之外,减少打开同一文件的连接是否有好处。具体地说

访问文件的这两种方式是否会有速度差异:

  • 1个文件由5个单独的进程访问(仅读取)

  • 5个单独的文件(原稿大小的1/5),由5个单独的进程访问(仅读取)

  • 还有


    即使磁盘带宽没有达到最大值,是否存在与打开太多文件连接相关的瓶颈?

    多个进程同时访问同一文件意味着锁定和序列化操作,至少在某种程度上是这样。在网络文件系统上,可以为任何操作插入显著的延迟。虽然您的带宽使用情况不会有太大的不同,但所涉及的延迟会显著降低性能

    如果您可以避免通过网络并发访问同一个文件,那么如果性能很重要,您可能应该这样做

    顺便说一句,NFS和大多数其他网络文件系统在锁定和并发访问方面有着很长的问题历史,即使应用程序执行显式锁定时也是如此——通常的结果是某种形式的数据损坏


    如果您可以,考虑切换到一个适当的基于网络的协议,其中多个进程将数据馈送到一个中央记录/记录服务器,写入到输出文件,而不涉及NFS或其任何朋友…

    ,我强烈鼓励HDF5通过MPI/IO并行读取和PVF.如果文件只被读取,是否存在锁定?感谢您提供的NFS提示,不幸的是,我目前仍在使用NFS。否。我将输出写入不同的文件。@sequenceGeek:对NFS文件的并发只读访问可能可以。您最好的选择是执行一些基准测试以确定答案。