Io MPI_文件_WRITE()的使用
我试图理解MPI I/O的一些方面。以下测试代码旨在填充四个进程的本地数组,每个本地数组是更大的10x10数组的一部分,然后输出到一个文件,以便以正确的顺序写入整个数组。您可能会注意到,这四个进程拥有数组的矩形部分,它们一起精确地覆盖了大型数组的域,但它们的边界彼此不“平方”。这是故意的 你会注意到,在实际写作的地方,我有两个选择。第一个生成一个文件,其中填充了一些命中或未命中的正确值,但主要是胡言乱语。第二种选择非常有效。我希望第一个选择也能奏效。关于Io MPI_文件_WRITE()的使用,io,fortran,mpi,Io,Fortran,Mpi,我试图理解MPI I/O的一些方面。以下测试代码旨在填充四个进程的本地数组,每个本地数组是更大的10x10数组的一部分,然后输出到一个文件,以便以正确的顺序写入整个数组。您可能会注意到,这四个进程拥有数组的矩形部分,它们一起精确地覆盖了大型数组的域,但它们的边界彼此不“平方”。这是故意的 你会注意到,在实际写作的地方,我有两个选择。第一个生成一个文件,其中填充了一些命中或未命中的正确值,但主要是胡言乱语。第二种选择非常有效。我希望第一个选择也能奏效。关于mpi\u file\u write(),
mpi\u file\u write()
,我不了解什么
我认为在MPI-IO中进行写入就好像写入调用是一个发送操作,然后使用文件类型作为接收端的数据类型在文件中执行接收 在第一个咒语中,您没有告诉MPI将数据放入文件的位置-它需要知道这一点,因为来自每个进程的数据在接收端(文件)是不连续的,但在发送端是连续的。您正在发送端应用子阵列类型,因此您正在发送随机数据,因为这将访问lcl_数据边界之外的数据。由于您没有指定文件类型,因此它必须在接收端(文件)使用一些默认值。无论默认值是什么,它都无法工作,因为您没有发送正确的数据 第二个咒语是100%正确的。每个进程将其所有本地数据作为连续块发送。现在,您的子阵列应用于接收端,即来自每个进程的数据被解压缩到接收缓冲区(文件)的正确部分。这里唯一的一点担心是在“set_view”中为disp指定一个硬“0”。接口可能会将其转换为正确的类型(MPI_OFFSET_KIND),但我使用的系统必须传递变量“disp”:INTEGER(KIND=MPI_OFFSET_KIND)disp=0,以确保获得64位零(不是默认的32位值)
为了提高性能,您应该使用MPI_File_Write_all,它可以在非常大的文件/大的进程计数上将写入速度提高几个数量级。谢谢!因此,在除最简单的情况外的任何情况下,是否可以使用MPI_FILE_WRITE(_ALL)而不首先使用MPI_FILE_SET_view设置视图?不,您应该始终调用MPI_FILE_SET_view
module mpi_stuff
use mpi
integer :: err_mpi
integer :: stat_mpi(MPI_STATUS_SIZE)
integer :: numprocs, myrank
integer :: output_type
integer :: outfile
integer :: starts(2)
end module mpi_stuff
module mydata
! ll: lower left x and y of local array
! uu: upper right x and y of local array
! arrsize : dimensions of local array
integer :: ll(2), uu(2), arrsize(2)
integer, allocatable :: lcl_data(:,:)
end module mydata
program output_test
use mpi_stuff
use mydata
! init MPI. get rank and size of comm
call mpi_init(err_mpi)
call mpi_comm_size(MPI_COMM_WORLD, numprocs, err_mpi)
call mpi_comm_rank(MPI_COMM_WORLD, myrank, err_mpi)
! initialize data
call data_init()
! define output types
print *,'proc ',myrank,' about to create'
call flush(6)
call mpi_type_create_subarray(2, (/10,10/), arrsize, starts, MPI_ORDER_FORTRAN, &
MPI_INTEGER, output_type, err_mpi)
call mpi_type_commit(output_type, err_mpi)
! open file
call mpi_file_open(MPI_COMM_WORLD, 'output.mpi', &
MPI_MODE_CREATE+MPI_MODE_RDWR, &
MPI_INFO_NULL, outfile, err_mpi)
! write to file
! option 1 -- FAILS MISERABLY!
!call mpi_file_write(outfile, lcl_data, 1, output_type, stat_mpi, err_mpi)
! option 2 -- WORKS PERFECTLY!
call mpi_file_set_view(outfile, 0, MPI_INTEGER, output_type, "native", MPI_INFO_NULL, err_mpi)
call mpi_file_write(outfile, lcl_data, arrsize(1)*arrsize(2), MPI_INTEGER, stat_mpi, err_mpi)
! clean up
call mpi_file_close(outfile, err_mpi)
call mpi_type_free(output_type, err_mpi)
call mpi_finalize(err_mpi)
end program output_test
subroutine data_init()
use mpi_stuff
use mydata
integer :: glbj, glbi, gval
select case(myrank)
case(0)
ll = (/1,1/)
uu = (/4,3/)
case(1)
ll = (/1,4/)
uu = (/4,10/)
case(2)
ll = (/5,1/)
uu = (/10,7/)
case(3)
ll = (/5,8/)
uu = (/10,10/)
end select
arrsize(1) = uu(1)-ll(1)+1
arrsize(2) = uu(2)-ll(2)+1
starts = ll - 1
print *,myrank,": ", ll, uu, starts, arrsize
allocate(lcl_data(arrsize(1), arrsize(2)))
do j = 1, arrsize(2)
glbj = j + ll(2) - 1
do i = 1, arrsize(1)
glbi = i + ll(1) - 1
gval = (glbi-1) + 10*(glbj-1)
lcl_data(i,j) = gval
enddo
enddo
print *,myrank,': ',lcl_data
end subroutine data_init