TensorFlow:基于GPU的图像预处理

TensorFlow:基于GPU的图像预处理,tensorflow,gpu,multi-gpu,Tensorflow,Gpu,Multi Gpu,我有四个GPU卡,CPU并没有使图像预处理速度足够快。排队的队伍很快就排完了,大部分时间卡都闲置着。有没有办法将QueueRunner放在这四个GPU卡中的一个上,这样一个卡可以进行预处理并形成队列,而另外三个卡可以实际训练模型?是的,这应该是可能的。您可以将预处理python函数包装到中,创建一个TF op,并使用TF.device(“gpu:0”):将其放入请求的gpu,在那里创建一个队列,并在其他gpu上使用出列op。您确定这可以工作吗?我认为python函数仍将在CPU上运行,对吗?请提

我有四个GPU卡,CPU并没有使图像预处理速度足够快。排队的队伍很快就排完了,大部分时间卡都闲置着。有没有办法将QueueRunner放在这四个GPU卡中的一个上,这样一个卡可以进行预处理并形成队列,而另外三个卡可以实际训练模型?

是的,这应该是可能的。您可以将预处理python函数包装到中,创建一个TF op,并使用TF.device(“gpu:0”):将其放入请求的gpu,在那里创建一个队列,并在其他gpu上使用出列op。

您确定这可以工作吗?我认为python函数仍将在CPU上运行,对吗?请提供示例代码。您需要将带的
放在哪里?我使用数据集上的
map()
s来定义图像增强。