Io MPI_文件_WRITE()的使用

Io MPI_文件_WRITE()的使用,io,fortran,mpi,Io,Fortran,Mpi,我试图理解MPI I/O的一些方面。以下测试代码旨在填充四个进程的本地数组,每个本地数组是更大的10x10数组的一部分,然后输出到一个文件,以便以正确的顺序写入整个数组。您可能会注意到,这四个进程拥有数组的矩形部分,它们一起精确地覆盖了大型数组的域,但它们的边界彼此不“平方”。这是故意的 你会注意到,在实际写作的地方,我有两个选择。第一个生成一个文件,其中填充了一些命中或未命中的正确值,但主要是胡言乱语。第二种选择非常有效。我希望第一个选择也能奏效。关于mpi\u file\u write(),

我试图理解MPI I/O的一些方面。以下测试代码旨在填充四个进程的本地数组,每个本地数组是更大的10x10数组的一部分,然后输出到一个文件,以便以正确的顺序写入整个数组。您可能会注意到,这四个进程拥有数组的矩形部分,它们一起精确地覆盖了大型数组的域,但它们的边界彼此不“平方”。这是故意的

你会注意到,在实际写作的地方,我有两个选择。第一个生成一个文件,其中填充了一些命中或未命中的正确值,但主要是胡言乱语。第二种选择非常有效。我希望第一个选择也能奏效。关于
mpi\u file\u write()
,我不了解什么


我认为在MPI-IO中进行写入就好像写入调用是一个发送操作,然后使用文件类型作为接收端的数据类型在文件中执行接收

在第一个咒语中,您没有告诉MPI将数据放入文件的位置-它需要知道这一点,因为来自每个进程的数据在接收端(文件)是不连续的,但在发送端是连续的。您正在发送端应用子阵列类型,因此您正在发送随机数据,因为这将访问lcl_数据边界之外的数据。由于您没有指定文件类型,因此它必须在接收端(文件)使用一些默认值。无论默认值是什么,它都无法工作,因为您没有发送正确的数据

第二个咒语是100%正确的。每个进程将其所有本地数据作为连续块发送。现在,您的子阵列应用于接收端,即来自每个进程的数据被解压缩到接收缓冲区(文件)的正确部分。这里唯一的一点担心是在“set_view”中为disp指定一个硬“0”。接口可能会将其转换为正确的类型(MPI_OFFSET_KIND),但我使用的系统必须传递变量“disp”:INTEGER(KIND=MPI_OFFSET_KIND)disp=0,以确保获得64位零(不是默认的32位值)


为了提高性能,您应该使用MPI_File_Write_all,它可以在非常大的文件/大的进程计数上将写入速度提高几个数量级。

谢谢!因此,在除最简单的情况外的任何情况下,是否可以使用MPI_FILE_WRITE(_ALL)而不首先使用MPI_FILE_SET_view设置视图?不,您应该始终调用MPI_FILE_SET_view
module mpi_stuff

use mpi

integer :: err_mpi
integer :: stat_mpi(MPI_STATUS_SIZE)
integer :: numprocs, myrank
integer :: output_type
integer :: outfile
integer :: starts(2)

end module mpi_stuff


module mydata

! ll: lower left x and y of local array
! uu: upper right x and y of local array
! arrsize : dimensions of local array
integer :: ll(2), uu(2), arrsize(2)
integer, allocatable :: lcl_data(:,:)

end module mydata

program output_test

    use mpi_stuff
use mydata

! init MPI.  get rank and size of comm
call mpi_init(err_mpi)
call mpi_comm_size(MPI_COMM_WORLD, numprocs, err_mpi)
call mpi_comm_rank(MPI_COMM_WORLD, myrank, err_mpi)

! initialize data
call data_init()

! define output types
print *,'proc ',myrank,' about to create'
call flush(6)
call mpi_type_create_subarray(2, (/10,10/), arrsize, starts, MPI_ORDER_FORTRAN,   &
                              MPI_INTEGER, output_type, err_mpi)
call mpi_type_commit(output_type, err_mpi)

! open file
call mpi_file_open(MPI_COMM_WORLD, 'output.mpi',  &
                   MPI_MODE_CREATE+MPI_MODE_RDWR, &
                   MPI_INFO_NULL, outfile, err_mpi)

! write to file
! option 1 -- FAILS MISERABLY!
!call mpi_file_write(outfile, lcl_data, 1, output_type, stat_mpi, err_mpi)
! option 2 -- WORKS PERFECTLY!
call mpi_file_set_view(outfile, 0, MPI_INTEGER, output_type, "native", MPI_INFO_NULL, err_mpi)
call mpi_file_write(outfile, lcl_data, arrsize(1)*arrsize(2), MPI_INTEGER, stat_mpi, err_mpi)

! clean up
call mpi_file_close(outfile, err_mpi)
call mpi_type_free(output_type, err_mpi)
call mpi_finalize(err_mpi)

end program output_test




subroutine data_init()

use mpi_stuff
use mydata

integer :: glbj, glbi, gval

select case(myrank)
  case(0)
    ll = (/1,1/)
    uu = (/4,3/)
  case(1)
    ll = (/1,4/)
    uu = (/4,10/)
  case(2)
    ll = (/5,1/)
    uu = (/10,7/)
  case(3)
    ll = (/5,8/)
    uu = (/10,10/)
end select

arrsize(1) = uu(1)-ll(1)+1
arrsize(2) = uu(2)-ll(2)+1
starts = ll - 1

print *,myrank,": ", ll, uu, starts, arrsize

allocate(lcl_data(arrsize(1), arrsize(2)))

do j = 1, arrsize(2)
  glbj = j + ll(2) - 1
  do i = 1, arrsize(1)
    glbi = i + ll(1) - 1 
    gval = (glbi-1) + 10*(glbj-1)
    lcl_data(i,j) = gval
  enddo
enddo

print *,myrank,': ',lcl_data

end subroutine data_init