与CUDA PTX代码和寄存器内存混淆

与CUDA PTX代码和寄存器内存混淆,cuda,ptx,Cuda,Ptx,:) 当我试图管理我的内核资源时,我决定研究一下PTX,但有几件事我不明白。下面是我编写的一个非常简单的内核: __global__ void foo(float* out, float* in, uint32_t n) { uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x; uint32_t one = 5; out[idx] = in[idx]+one; } 然后我使用:nvcc--ptxas options=

:) 当我试图管理我的内核资源时,我决定研究一下PTX,但有几件事我不明白。下面是我编写的一个非常简单的内核:

__global__
void foo(float* out, float* in, uint32_t n)
{
    uint32_t idx = blockIdx.x * blockDim.x + threadIdx.x;
    uint32_t one = 5;
    out[idx] = in[idx]+one;
}
然后我使用:
nvcc--ptxas options=-v-keep main.cu
对其进行编译,并在控制台上获得以下输出:

ptxas info    : 0 bytes gmem
ptxas info    : Compiling entry function '_Z3fooPfS_j' for 'sm_10'
ptxas info    : Used 2 registers, 36 bytes smem
产生的ptx如下所示:

    .entry _Z3fooPfS_j (
            .param .u64 __cudaparm__Z3fooPfS_j_out,
            .param .u64 __cudaparm__Z3fooPfS_j_in,
            .param .u32 __cudaparm__Z3fooPfS_j_n)
    {
    .reg .u16 %rh<4>;
    .reg .u32 %r<5>;
    .reg .u64 %rd<8>;
    .reg .f32 %f<5>;
    .loc    15  17  0
$LDWbegin__Z3fooPfS_j:
    .loc    15  21  0
    mov.u16     %rh1, %ctaid.x;
    mov.u16     %rh2, %ntid.x;
    mul.wide.u16    %r1, %rh1, %rh2;
    cvt.u32.u16     %r2, %tid.x;
    add.u32     %r3, %r2, %r1;
    cvt.u64.u32     %rd1, %r3;
    mul.wide.u32    %rd2, %r3, 4;
    ld.param.u64    %rd3, [__cudaparm__Z3fooPfS_j_in];
    add.u64     %rd4, %rd3, %rd2;
    ld.global.f32   %f1, [%rd4+0];
    mov.f32     %f2, 0f40a00000;        // 5
    add.f32     %f3, %f1, %f2;
    ld.param.u64    %rd5, [__cudaparm__Z3fooPfS_j_out];
    add.u64     %rd6, %rd5, %rd2;
    st.global.f32   [%rd6+0], %f3;
    .loc    15  22  0
    exit;
$LDWend__Z3fooPfS_j:
    } // _Z3fooPfS_j
.entry\u Z3fooPfS\u j(
.param.u64 uu cudaparm uuu Z3fooPfS j_uout,
.param.u64_uucudaparm_uuuz3foopfs_j_in,
.param.u32_uucudaparm_uuuz3foopfs_j_n)
{
.reg.u16%相对湿度;
.reg.u32%r;
.reg.u64%rd;
.reg.f32%f;
.loc 15 17 0
$LDWbegin_uuuz3foopfs_j:
loc 15 21 0
mov.u16%rh1,%ctaid.x;
mov.u16%rh2,%ntid.x;
mul.wide.u16%r1、%rh1、%rh2;
cvt.u32.u16%r2,%tid.x;
添加.u32%r3,%r2,%r1;
cvt.u64.u32%rd1,%r3;
mul.wide.u32%rd2,%r3,4;
ld.param.u64%rd3,[[uu cudaparm_uuz3foopfs_j_in];
add.u64%rd4、%rd3、%rd2;
ld.global.f32%f1,[%rd4+0];
mov.f32%f2,0f40a00000;//5
add.f32%f3,%f1,%f2;
ld.param.u64%rd5,[[uu cudaparm_uuz3foopfs_j_out];
add.u64%rd6、%rd5、%rd2;
st.global.f32[%rd6+0],%f3;
loc 15 22 0
出口
$LDWend_uuuz3foopfs_j:
}//\u Z3fooPfS\u j
现在有些事情我不明白:

  • 根据ptx组件,使用4+5+8+5=22个寄存器。那么为什么它说编译过程中使用了两个寄存器
  • 查看程序集,我意识到threadId、blockId等的数据类型是
    u16
    。这在CUDA规范中有定义吗?或者不同版本的CUDA驱动程序之间可能会有所不同
  • 有人能给我解释一下这句话吗:
    mul.wide.u16%r1,%rh1,%rh2<代码>%r1
    u32
    ,为什么使用
    wide
    而不是
    u32
  • 如何选择寄存器的名称?在我的花瓶中,我理解
    %r
    部分,但我不理解
    h
    ,(空),
    d
    部分。它是根据数据类型长度选择的吗?ie:
    h
    表示16位,null表示32位,d表示64位
  • 如果我用这个
    out[idx]=in[idx]替换内核的最后两行,然后当我编译程序时,它说使用了3个寄存器!现在如何使用更多寄存器
请忽略我的测试内核没有检查数组索引是否超出范围这一事实


非常感谢。

PTX是一种中间语言,旨在跨多个GPU架构进行移植。它由编译器组件PTXAS编译成特定体系结构的最终机器代码,也称为SASS。nvcc选项
-Xptxas-v
使PTXAS报告有关生成的机器代码的各种统计信息,包括机器代码中使用的物理寄存器的数量。您可以通过使用
cuobjdump--dump sass
对机器代码进行反汇编来检查机器代码

因此,在PTX代码中使用的寄存器数量没有意义,因为它们是虚拟寄存器。CUDA编译器以SSA形式生成PTX代码(静态单赋值,请参阅)。这基本上意味着写入的每个新结果都分配了一个新的寄存器

PTX规范中描述了指令
mul.wide
,当前版本(3.1)可在此处找到:。在示例代码中,后缀
.u16
意味着它将两个无符号16位量相乘,并返回一个无符号32位结果,即计算源操作数的全双倍宽度乘积

PTX中的虚拟寄存器是类型化的,但它们的名称可以自由选择,与类型无关。CUDA编译器似乎遵循(据我所知)未记录的某些约定,因为它们是内部实现工件。查看一组PTX代码可以清楚地看出,当前生成的寄存器名编码类型信息,这可能是为了便于调试:
p
用于谓词,
r
用于32位整数,
rd
用于64位整数,
f
用于32位浮点,而
fd
用于64位双精度。通过查看创建这些虚拟寄存器的PTX代码中的
.reg
指令,您可以轻松看到这一点。

(1)PTXAS是将PTX转换为机器代码的编译器组件。因此,-Xptxas-v中的寄存器计数与机器代码中使用的物理寄存器有关(您可以使用cuobjdump--dump sass检查它)。PTX是一种使用虚拟寄存器的中间语言。由于PTX代码是以SSA(单一静态分配)形式生成的,因此写入的每个新结果都被分配一个新的虚拟寄存器号。(2) PTX规范(CUDA文件的一部分)中描述了mul.wide。在这种情况下,它将两个u16操作数相乘,得到一个u32结果(即全积)