Memory management 使用OpenCL优化本地内存使用

OpenCL当然是为了抽象硬件实现的细节而设计的，因此在担心硬件的配置时陷入太多的兔子洞可能是个坏主意

话虽如此，我想知道对于任何特定的内核，有多少本地内存是有效的。例如，如果我有一个包含64个工作项的工作组，那么在一个计算单元中可能会同时运行其中的多个工作项。然而，

CL\u DEVICE\u local\u MEM\u size

查询返回的本地内存大小似乎适用于整个计算单元，而如果此信息用于工作组，则更有用。有没有办法知道，如果有多少工作组共存于同一计算单元上，它们将需要共享同一内存池

我曾认为，确保我的工作组内存使用量低于本地内存总量的四分之一是一个好主意。这是不是太保守了？手动调谐是唯一的方法吗？对我来说，这意味着您只针对一个GPU型号进行了调整

---

最后，我想知道整个本地内存大小是否可供用户分配本地内存，或者是否有其他系统开销使其更少？我听说，如果分配太多，那么数据只会放在全局内存中。有没有办法确定是否是这种情况？

如果您的工作相当独立并且不重复使用输入数据，那么您可以安全地忽略关于工作组和共享本地内存的所有内容。但是，如果您的工作项可以共享任何输入数据（典型示例是3x3或5x5卷积，用于重新读取输入数据），那么最佳实现将需要共享本地内存。非独立工作也会受益。考虑共享本地内存的一种方法是程序员管理的缓存。

有没有办法知道如果有多少工作组共存于同一计算单元上，它们需要共享同一内存池？

不是一步完成的，但是你可以计算出来。首先，您需要知道一个工作组需要多少本地内存。要做到这一点，您可以使用标志CL\u KERNEL\u LOCAL\u MEM\u SIZE（严格来说，它是一个内核所需的本地内存）。由于您知道每个计算单元有多少本地内存，因此可以知道一个计算单元上可以共存的最大工作组数

事实上，这并不是那么简单。您必须考虑其他参数，例如可以驻留在一个计算单元上的最大线程数。
这是一个占用率问题（您应该尽量最大化）。不幸的是，占用率会因基础架构的不同而有所不同

AMD发表了一篇关于如何计算不同架构占用率的文章。
NVIDIA提供了一种计算不同体系结构占用率的方法。
OCL不能查询进行计算所需的所有信息（如果我没记错的话），但是没有什么可以阻止您在应用程序中存储关于不同体系结构的信息

我认为确保我的工作组内存使用量低于本地内存总量的四分之一是个好主意。这是不是太保守了？

它非常严格，使用clGetKernelWorkGroupInfo您不需要这样做。但是，需要考虑的是CL_内核\u本地\u内存大小：

如果为指向内核的任何指针参数指定本地内存大小 使用_本地地址限定符声明，如果未指定，则其 假定大小为0

因为您可能需要动态计算每个工作组所需的本地内存的大小，所以这里有一个解决方法，它基于内核是在JIT中编译的事实

您可以在内核文件中定义一个常量，然后在调用clBuildProgram时使用-D选项设置其值（以前计算）

我想知道整个本地内存大小是否可供用户分配本地内存，或者是否有其他系统开销使其减少？

同样，CL\u内核\u本地\u内存大小是答案。该标准规定：

这包括实现所需的本地内存 执行内核

---

您正在使用哪些设备？另外，您使用的opencl版本是什么（1.0、1.1、1.2或2.0）？您是否有特定类型的内核？我不认为有一条经验法则适用于所有算法。我正在Radeon HD 6750M上测试CL 1.2，但我希望能更全面地理解。