Pytorch 链表中的梯度裁剪

我可以在Chainer中获得渐变剪裁函数吗

我在Pytorch文档中发现了一些代码：

Chainer中是否有类似于替代函数的功能？ 我刚找到chainer.optimizer\u hooks.GradientClipping，但这很难使用

提前谢谢

试试这个怎么样。 我只是用链式风格重新编写了pyTorch函数

import cupy
def clip_grad_norm(model, max_norm, norm_type=2):
    params  = list( filter(lambda p : p.grad is not None ,  model.params()) )
    max_norm = float(max_norm)
    norm_type = float(norm_type)
    total_norm = 0.0
    for p in params:
        g = p.grad
        norm = cupy.linalg.norm(g)
        total_norm += norm**(norm_type)
    total_norm = total_norm **(1/norm_type)
    clip_coef = max_norm / (total_norm + 1e-6)
    if clip_coef < 1:
        for p in params:
            g = p.grad
            p.grad = g * clip_coef

导入cupy
def clip_grad_norm（型号、最大规格、规格类型=2）：
params=list（过滤器（lambda p:p.grad不是None，model.params（））
最大定额=浮动（最大定额）
标准类型=浮动（标准类型）
总标准=0.0
对于参数中的p：
g=p.grad
标准=cupy.linalg.norm（g）
总定额+=定额**（定额类型）
总定额=总定额**（1/定额类型）
clip_coef=最大定额/（总定额+1e-6）
如果剪辑系数<1：
对于参数中的p：
g=p.grad
p、 梯度=g*剪辑系数

试试这个怎么样。 我只是用链式风格重新编写了pyTorch函数

import cupy
def clip_grad_norm(model, max_norm, norm_type=2):
    params  = list( filter(lambda p : p.grad is not None ,  model.params()) )
    max_norm = float(max_norm)
    norm_type = float(norm_type)
    total_norm = 0.0
    for p in params:
        g = p.grad
        norm = cupy.linalg.norm(g)
        total_norm += norm**(norm_type)
    total_norm = total_norm **(1/norm_type)
    clip_coef = max_norm / (total_norm + 1e-6)
    if clip_coef < 1:
        for p in params:
            g = p.grad
            p.grad = g * clip_coef

导入cupy
def clip_grad_norm（型号、最大规格、规格类型=2）：
params=list（过滤器（lambda p:p.grad不是None，model.params（））
最大定额=浮动（最大定额）
标准类型=浮动（标准类型）
总标准=0.0
对于参数中的p：
g=p.grad
标准=cupy.linalg.norm（g）
总定额+=定额**（定额类型）
总定额=总定额**（1/定额类型）
clip_coef=最大定额/（总定额+1e-6）
如果剪辑系数<1：
对于参数中的p：
g=p.grad
p、 梯度=g*剪辑系数

为什么您实际上需要一个单独的函数？基本上，您希望在优化过程中使用渐变剪裁，这就是为什么它被实现为优化器挂钩的原因。为什么您实际上需要一个单独的函数来实现它？基本上，您希望在优化过程中使用渐变剪裁，这就是为什么它被实现为优化器挂钩的原因。