Asynchronous 为什么我没有得到这个代码的I/O计算重叠?

Asynchronous 为什么我没有得到这个代码的I/O计算重叠?,asynchronous,cuda,cuda-streams,Asynchronous,Cuda,Cuda Streams,以下节目: #include <iostream> #include <array> using clock_value_t = long long; __device__ void gpu_sleep(clock_value_t sleep_cycles) { clock_value_t start = clock64(); clock_value_t cycles_elapsed; do { cycles_elapsed = clock64

以下节目:

#include <iostream>
#include <array>

using clock_value_t = long long;

__device__ void gpu_sleep(clock_value_t sleep_cycles)
{
    clock_value_t start = clock64();
    clock_value_t cycles_elapsed;
    do { cycles_elapsed = clock64() - start; }
    while (cycles_elapsed < sleep_cycles);
}

__global__ void dummy(clock_value_t duration_in_cycles)
{
    gpu_sleep(duration_in_cycles);
}

int main()
{
    const clock_value_t duration_in_clocks = 1e7;
    const size_t buffer_size = 5e7;
    constexpr const auto num_streams = 2;

    std::array<char*, num_streams> host_ptrs;
    std::array<char*, num_streams> device_ptrs;
    std::array<cudaStream_t, num_streams> streams;
    for (auto i=0; i<num_streams; i++) {
        cudaMallocHost(&host_ptrs[i], buffer_size);
        cudaMalloc(&device_ptrs[i], buffer_size);
        cudaStreamCreateWithFlags(&streams[i], cudaStreamNonBlocking);
    }
    cudaDeviceSynchronize();
    for (auto i=0; i<num_streams; i++) {
        cudaMemcpyAsync(device_ptrs[i], host_ptrs[i], buffer_size, 
            cudaMemcpyDefault, streams[i]);
        dummy<<<128, 128, 0, streams[i]>>>(duration_in_clocks);
        cudaMemcpyAsync(host_ptrs[i], device_ptrs[i], buffer_size, 
            cudaMemcpyDefault, streams[i]);
    }
    for (auto i=0; i<num_streams; i++) { cudaStreamSynchronize(streams[i]); }
    for (auto i=0; i<num_streams; i++) {
        cudaFreeHost(host_ptrs[i]);
        cudaFree(device_ptrs[i]);
    }
}
#包括
#包括

我想我已经覆盖了我的基础,以确保重叠。流是非阻塞的(事实上,工作排队早于第一个HtoD结束);主机内存已锁定。。。那么,我看不到重叠的地方是什么


在GNU/Linux Mint 18.2上使用CUDA 8.0.61,并使用NVIDIA GTX 650 Ti Boost。但是驱动程序是v384.59。

好的,这一定是我的GPU型号的问题,因为有了Fedora 25和GTX Titan X,我得到:


cuda版本?GPU?平台/操作系统?编译命令?这是:
“cuda/api_wrappers.h”
实际需要吗?@RobertCrovella:请参阅编辑和我的答案。另外,额外的包含是不必要的。