CUDA IPC Memcpy+；MPI在Theano中失败，在pycuda中工作
为了便于学习，我编写了一个小型的C Python模块，该模块应该执行IPC cuda memcopy来在进程之间传输数据。为了进行测试，我编写了等效的程序：一个使用theano的CudaNdarray，另一个使用pycuda。问题是，即使测试程序几乎相同，pycuda版本仍然可以工作，而theano版本则不能。它不会崩溃：它只会产生错误的结果 下面是C模块中的相关功能。它的作用是：每个进程都有两个缓冲区：一个源缓冲区和一个目标缓冲区。调用_sillycopy（source，dest，n）将n个元素从每个进程的源缓冲区复制到相邻进程的dest数组。所以，如果我有两个进程，0和1，进程0将以进程1的源缓冲区结束，进程1将以进程0的源缓冲区结束 请注意，为了在进程之间传输cudaIpcMemHandle\t值，我使用了MPI（这是使用MPI的大型项目的一小部分）_sillycopy由另一个函数“sillycopy”调用，该函数在Python中通过标准的Python C API方法公开CUDA IPC Memcpy+；MPI在Theano中失败，在pycuda中工作,mpi,ipc,theano,pycuda,Mpi,Ipc,Theano,Pycuda,为了便于学习，我编写了一个小型的C Python模块，该模块应该执行IPC cuda memcopy来在进程之间传输数据。为了进行测试，我编写了等效的程序：一个使用theano的CudaNdarray，另一个使用pycuda。问题是，即使测试程序几乎相同，pycuda版本仍然可以工作，而theano版本则不能。它不会崩溃：它只会产生错误的结果 下面是C模块中的相关功能。它的作用是：每个进程都有两个缓冲区：一个源缓冲区和一个目标缓冲区。调用_sillycopy（source，dest，n）将n个元
void\u sillycopy（浮点*源、浮点*目的、整数n、MPI\u通信）{
int localRank；
int localSize；
MPI_通信等级（通信和本地等级）；
MPI_Comm_大小（Comm和localSize）；
//找出哪个进程在“左边”。
//m（）执行mod并处理负数
//恰当地
int neighbor=m（localRank-1，localSize）；
//为*源创建内存句柄并执行以下操作：
//浪费的Allgather分配给其他流程
//（可以只使用MPI_Sendrecv，但现在不相关）
cudaIpcMemHandle_t*memHandles=new-cudaIpcMemHandle_t[localSize]；
cudaipgetmemhandle（memHandles+localRank，source）；
MPI_Allgather(
memHandles+localRank、sizeof（cudaIpcMemHandle）、MPI\u字节、，
memHandles，sizeof（cudaIpcMemHandle_t），MPI_字节，
通信）；
//打开邻居的内存句柄，这样我们就可以进行cudaMemcpy了
浮点*源PTR；
cudaIpcOpenMemHandle（（void**）和sourcePtr，memHandles[neighbor]，cudaIpcMemLazyEnablePeerAccess）；
//收到！
cudaMemcpy（dest、sourcePtr、n*sizeof（float）、cudaMemcpyDefault）；
CUDAIPCloseMemHandle（源PTR）；
删除[]个memHandles；
}
导入sillymodule#sillycopy就住在这里
将simplempi导入为mpi
将pycuda.driver作为drv导入
将numpy作为np导入
进口退欧
导入时间
mpi.init（）
drv.init（）
#确保每个进程使用不同的GPU
dev=drv.Device（mpi.rank（））
ctx=开发人员创建上下文（）
atexit.寄存器（ctx.pop）
形状=（2**26，）
#分配主机内存
a=np.ones（形状，np.32）
b=np.0（形状，np.32）
#分配设备内存
a_gpu=drv.mem_alloc（a.n字节）
b_gpu=drv.mem_alloc（b.N字节）
#将主机复制到设备
drv.memcpy_htod（a_gpu，a）
drv.memcpy_htod（b_gpu，b）
#多几个主机缓冲区
a_p=np.zero（形状，np.float32）
b_p=np.0（形状，np.32）
#健全性检查：这应该用1填充一个p
drv.memcpy_dtoh（a_p，a_gpu）
#核实
打印（a_p[0:10]）
sillymodule.sillycopy(
int（一个gpu），
int（b_gpu），
形状[0]）
#在这之后，b_p应该拥有自己的全部
drv.memcpy_dtoh（b_p，b_gpu）
打印（c_p[0:10]）
导入操作系统
将simplempi导入为mpi
mpi.init（）
#选择每个进程一个gpu
os.environ['THEANO_FLAGS']=“device=gpu{}”.format（mpi.rank（））
将theano.sandbox.cuda作为cuda导入
导入时间
将numpy作为np导入
导入时间
导入sillymodule
形状=（2**24，）
#分配主机数据
a=np.ones（形状，np.32）
b=np.0（形状，np.32）
#分配设备数据
agpu=cuda.CudaNdarray.zero（形状）
b_gpu=cuda.CudaNdarray.zero（形状）
#从主机复制到设备
AGPU[：]=a[：]
BGPU[：]=b[：]
#应该打印1作为一个健康检查
打印（np.asarray（a_gpu[0:10]））
sillymodule.sillycopy(
agpu.gpudata，
b_gpu.gpudata，
形状[0]）
#应该打印1的
打印（np.asarray（b_gpu[0:10]））