简单操作上的Numba python CUDA与cuBLAS速度差
我正在分析一些代码,无法找出性能差异。我正在尝试在两个数组(就地)之间进行简单的元素加法。这是使用numba的CUDA内核:简单操作上的Numba python CUDA与cuBLAS速度差,python,cuda,numba,Python,Cuda,Numba,我正在分析一些代码,无法找出性能差异。我正在尝试在两个数组(就地)之间进行简单的元素加法。这是使用numba的CUDA内核: from numba import cuda @cuda.jit('void(float32[:], float32[:])') def cuda_add(x, y): ix = cuda.threadIdx.x + cuda.blockIdx.x * cuda.blockDim.x stepSize = cuda.gridDim.x * cuda.b
from numba import cuda
@cuda.jit('void(float32[:], float32[:])')
def cuda_add(x, y):
ix = cuda.threadIdx.x + cuda.blockIdx.x * cuda.blockDim.x
stepSize = cuda.gridDim.x * cuda.blockDim.x
while ix < v0.shape[0]:
y[ix] += x[ix]
ix += stepSize
对于大型阵列(20M单元),BLAS方法的性能大约快25%。这是在“预热”了cuda.jit
内核之后,之前通过调用它来缓存编译的PTX代码(不确定这是否重要,但这样做只是为了确保这不是问题)
我可以理解3级矩阵运算的性能差异,但这只是一个简单的加法。我可以做些什么来提高cuda.jit代码的性能吗?我这样问是因为我想要优化的真正代码是一个2d数组,它不能传递给blas.axpy
编辑执行代码和其他需要的包:
import numpy as np
def main():
n = 20 * 128 * 128 * 64
x = np.random.rand(n).astype(np.float32)
y = np.random.rand(n).astype(np.float32)
## Create necessary GPU arrays
d_x = cuda.to_device(x)
d_y = cuda.to_device(y)
## My function
cuda_add[1024, 64](d_x , d_y)
## cuBLAS function
blas = Blas()
blas.axpy(1.0, d_x , d_y)
很简单的答案是否定的。CUBLAS利用了许多东西(纹理、向量类型)来提高像这样的内存绑定代码的性能,而numba CUDA方言目前不支持这样的代码 我在CUDA上写下了这个:
__device__ float4 add(float4 x, float4 y)
{
x.x += y.x; x.y += y.y; x.z += y.z; x.w += y.w;
return x;
}
__global__ void mykern(float* x, float* y, int N)
{
float4* x4 = reinterpret_cast<float4*>(x);
float4* y4 = reinterpret_cast<float4*>(y);
int strid = gridDim.x * blockDim.x;
int tid = threadIdx.x + blockDim.x * blockIdx.x;
for(; tid < N/4; tid += strid) {
float4 valx = x4[tid];
float4 valy = y4[tid];
y4[tid] = add(valx, valy);
}
}
\uuuuu设备\uuuuuuu4添加(float4 x,float4 y)
{
x、 x+=y.x;x.y+=y.y;x.z+=y.z;x.w+=y.w;
返回x;
}
__全局无效mykern(浮点*x,浮点*y,整数N)
{
float4*x4=重新解释铸件(x);
浮动4*y4=重新解释铸造(y);
int strid=gridDim.x*blockDim.x;
int tid=threadIdx.x+blockDim.x*blockIdx.x;
对于(;tid
我的基准测试显示它在库布拉斯的5%以内,但我不相信你现在能在numba做到这一点
顺便说一句,我不理解你关于不能在2D数组上运行
saxpy
的评论。如果数组在内存中是连续的(我怀疑它们一定是连续的),并且具有相同的布局(即不尝试添加转置),那么可以在二维数组上使用saxpy
。如果要发布代码,您至少可以确保它能够编译吗?在这样一个简单的内核中,执行参数对性能至关重要,但您还没有展示它们。你能解决这个问题吗?这真的是你的执行参数吗?每个块64个线程和1024个块?是的,但我尝试了TPB和块的其他组合。
__device__ float4 add(float4 x, float4 y)
{
x.x += y.x; x.y += y.y; x.z += y.z; x.w += y.w;
return x;
}
__global__ void mykern(float* x, float* y, int N)
{
float4* x4 = reinterpret_cast<float4*>(x);
float4* y4 = reinterpret_cast<float4*>(y);
int strid = gridDim.x * blockDim.x;
int tid = threadIdx.x + blockDim.x * blockIdx.x;
for(; tid < N/4; tid += strid) {
float4 valx = x4[tid];
float4 valy = y4[tid];
y4[tid] = add(valx, valy);
}
}