CUDA流并发和D2H数据传输重叠
我曾尝试将内核执行与memcpyasync D2H重叠，但它不起作用。我有N组元素。每个组有64个可以并行处理的元素。而由于数据依赖性，组的处理必须是顺序的。也就是说，必须在处理组i-1的元素之后处理组i的元素。对组中每个元素的处理产生一个输出，该输出必须从GPU传输到CPU。为了重叠此D2H数据传输，我将组的元素划分为多个块，以便可以使用流重叠给定块上的内核执行和D2H MemcpyAsync。我使用以下伪代码使用K流处理N组元素CUDA流并发和D2H数据传输重叠,cuda,Cuda,我曾尝试将内核执行与memcpyasync D2H重叠，但它不起作用。我有N组元素。每个组有64个可以并行处理的元素。而由于数据依赖性，组的处理必须是顺序的。也就是说，必须在处理组i-1的元素之后处理组i的元素。对组中每个元素的处理产生一个输出，该输出必须从GPU传输到CPU。为了重叠此D2H数据传输，我将组的元素划分为多个块，以便可以使用流重叠给定块上的内核执行和D2H MemcpyAsync。我使用以下伪代码使用K流处理N组元素 groupId=0; `while( groupId<
groupId=0;
`while( groupId< N){`
for(i=0;i<K;++i)
// all stream must wait to complete the kernel execution
of last stream before starting of the processing of next group
if( groupId!=0)
cudaStreamWaitEvent(stream[K-1],syncEvent,0)
kernelA<<< >>>(----,----,----);
CUDAEventRecord(syncEvent,stream[K-1]);
cudaMemcpyAsync(,,,cudaMemcpyDeviceToHost,stream[i]);
}
groupId++
}