Machine learning 计算负ELBO

我正在学习深度马尔可夫模型的教程，他们正在学习复调数据集。指向教程的链接是：

该模型使用神经网络对跃迁和发射进行参数化，对于变分推理部分，他们使用RNN将可观测的“x”映射到潜在空间。为了确保他们的模型学习到一些东西，他们尝试最大化ELBO或最小化负ELBO。他们将负ELBO称为NLL。到目前为止，我了解他们在做什么。然而，下一步让我感到困惑。一旦他们有了NLL，他们将其除以序列长度之和

times = [time.time()]
for epoch in range(args.num_epochs):
    # accumulator for our estimate of the negative log likelihood
    # (or rather -elbo) for this epoch
    epoch_nll = 0.0
    # prepare mini-batch subsampling indices for this epoch
    shuffled_indices = np.arange(N_train_data)
    np.random.shuffle(shuffled_indices)

    # process each mini-batch; this is where we take gradient steps
    for which_mini_batch in range(N_mini_batches):
        epoch_nll += process_minibatch(epoch, which_mini_batch, shuffled_indices)

    # report training diagnostics
    times.append(time.time())
    epoch_time = times[-1] - times[-2]
    log("[training epoch %04d]  %.4f \t\t\t\t(dt = %.3f sec)" %
        (epoch, epoch_nll / N_train_time_slices, epoch_time))

---

我不太明白他们为什么这么做。能解释一下吗？他们在这里吗？非常感谢您的见解。

在本教程中，通过优化过程，他们试图减少损失，并最终希望将其与本教程中的参考文献[1]进行比较

“最后，我们报告了一些诊断信息。请注意，我们通过训练集中的总时间片数（这允许我们与参考文献[1]进行比较）来标准化损失。”

这来自您提供的教程

基本上，所有小批量的损失都是计算出来的，他们正在对其进行归一化处理，这样最终的损失将是他们最初获取的整个训练数据序列长度上的损失

---

当我们运行代码时，我们可以在日志记录生成的诊断报告中记录每个历元后的总体损失。

因此，如果不使用mini batch，我使用批次，我们还会正常化吗？如果您的批次有表示整个数据损失的总训练数据，那么您就不需要正常化损失。