Deep learning 双精度与单精度神经网络的最终精度_Deep Learning

Deep learning 双精度与单精度神经网络的最终精度

deep-learning

Deep learning 双精度与单精度神经网络的最终精度,deep-learning,Deep Learning,我想知道是否有人有在（比如）CIFAR10或ILSVRC-2012数据集上训练深度神经网络并比较单精度和双精度计算的最终结果的经验？无法评论，但这不是一个答案，更多的只是信息和一个实验。我认为这个问题将很难测试，因为使用64位将需要CPU而不是GPU，并将大大增加运行时间首先，谷歌的文森特·范霍克（Vincent Vanhoucke）发表了一篇关于这一主题的论文：。本文的重点是优化CPU上的深度网络，大量优化使用“定点SIMD”指令，如下一节所述，这相当于8位精度（除非我弄错了）。有关本文的解

我想知道是否有人有在（比如）CIFAR10或ILSVRC-2012数据集上训练深度神经网络并比较单精度和双精度计算的最终结果的经验？

无法评论，但这不是一个答案，更多的只是信息和一个实验。我认为这个问题将很难测试，因为使用64位将需要CPU而不是GPU，并将大大增加运行时间

首先，谷歌的文森特·范霍克（Vincent Vanhoucke）发表了一篇关于这一主题的论文：。本文的重点是优化CPU上的深度网络，大量优化使用“定点SIMD”指令，如下一节所述，这相当于8位精度（除非我弄错了）。有关本文的解释，请访问

根据我自己的经验，我使用16位精度作为输入，而不是32位精度作为深度Q学习，并且我没有注意到性能上的差异。我不是低级计算方面的专家，但这些额外的数字究竟有什么帮助呢？培训的目的是最大限度地提高网络分配正确类的概率，并提供较大的余量（即softmax输出为95%+）。正负差0.0001不会改变预测的类别