Python 深度学习交叉验证的多处理

我正在做一个研究项目，涉及深度学习模型的交叉验证。数据非常小（小于1000个大小为200 x 200的矩阵），模型（例如2-3层感知器）也是如此。我正在使用Pytork Lightning、权重和偏差日志以及Hydra配置框架在Pytork中实现学习过程

所以，问题是：什么是将学习并行化的最佳实践？目前，我使用concurrent.futures.ProcessPoolExecutor运行与折叠对应的多个作业。这是一种好的做法还是存在更好的工具

此外，我有2个GPU，每个8 Gb内存，学习一个型号时GPU内存使用量不大（1-2 Gb取决于型号）。问题是CPU使用率，32核甚至2个进程占用了100%的CPU使用率。有哪些做法可以减少这种情况？此外，我如何为进程自动选择GPU（例如，在可见GPU中内存最多的GPU）