Machine learning 神经网络的批量大小是多少？

我有一个由36个数据点组成的训练集。我想在上面训练一个神经网络。我可以选择批量大小，例如1、12或36（36可以除以的每个数字）

当然，当我增加批量大小时，训练运行时间会大大减少

---

如果我选择12而不是1作为批量大小，是否有缺点？

批量大小没有黄金法则。句号

---

但是。您的数据集非常小，批量大小可能根本不重要，您所有的问题都是因为缺少数据，而不是任何超参数。

我同意lejlot。鉴于数据量非常小，batchsize在当前的模型构建中不是问题。一旦转移到内存中无法容纳的较大数据，请尝试不同的批处理大小（例如，某些2的幂，即32、128、512等）

批量大小的选择取决于：

您的硬件容量和模型架构。给定足够的内存和将数据从内存传输到CPU/GPU的总线容量，较大的批处理大小会导致更快的学习。然而，争论的焦点是质量是否仍然存在

算法及其实现。例如，Keras python包（基于神经网络算法的Theano和TensorFlow实现）：

批次通常近似于输入数据的分布 比单一输入更好。批量越大，质量越好 近似值；然而，这批产品也确实需要 处理时间更长，仍然只会导致一次更新。对于 推断（评估/预测），建议选择批量大小 在不耗尽内存的情况下（自 较大的批次通常会导致更快的评估/预测）

在尝试不同的批量大小后，您会有更好的直觉。如果您的硬件和时间允许，让机器为您选择正确的批次（作为网格搜索的一部分，循环不同的批次大小）

以下是一些很好的答案：