Python 使nn.模块更快
我有一个nn.Module(来自clovaai的CRAFT),我有点烦,因为我的CPU上的预测相当长(~13s)。Python 使nn.模块更快,python,torch,Python,Torch,我有一个nn.Module(来自clovaai的CRAFT),我有点烦,因为我的CPU上的预测相当长(~13s)。 有没有一般性的提示(除了使用GPU)来改善这种网络的预测? 谢谢你的修剪 你应该研究一下“模型修剪”。这是一个普遍的概念,在这个领域有很多工具和技术 其基本思想是,大型网络通常非常“稀疏”,这意味着大多数权重对最终输出的贡献不大。因此,您可以删除它们,并观察到性能几乎没有下降。从网络中移除权重会减小其大小,因此也会减少推理所需的工作量 降低精度 这一点我在实践中不太熟悉,但其想法是
有没有一般性的提示(除了使用GPU)来改善这种网络的预测? 谢谢你的修剪 你应该研究一下“模型修剪”。这是一个普遍的概念,在这个领域有很多工具和技术 其基本思想是,大型网络通常非常“稀疏”,这意味着大多数权重对最终输出的贡献不大。因此,您可以删除它们,并观察到性能几乎没有下降。从网络中移除权重会减小其大小,因此也会减少推理所需的工作量 降低精度 这一点我在实践中不太熟悉,但其想法是,如果在运行时降低计算的“精度”(即位深度),同样可以用精度(或实际上是精度)换取推理的速度