Neural network 我应该洗牌数据以使用反向传播训练神经网络吗?

Neural network 我应该洗牌数据以使用反向传播训练神经网络吗?,neural-network,shuffle,Neural Network,Shuffle,我想用反向传播训练一个神经网络,我有这样一个数据集: 我应该洗牌输入数据吗?是的,并且应该在每次迭代时洗牌,例如{1}中的引号: 对于任何随机梯度下降法(包括 对于小批量情况),每个示例或小批量对估计量的效率非常重要 可以大致独立地进行采样。因为 随机访问内存(甚至更糟的是 磁盘)非常昂贵,这是一个很好的近似值,称为增量 gradient(Bertsekas,2010)将访问 以固定顺序对应的示例(或小批量) 按其在内存或磁盘中的顺序(重复 第二个历元上相同顺序的示例,如果 我们不是在纯在线的

我想用反向传播训练一个神经网络,我有这样一个数据集:


我应该洗牌输入数据吗?

是的,并且应该在每次迭代时洗牌,例如{1}中的引号:

对于任何随机梯度下降法(包括 对于小批量情况),每个示例或小批量对估计量的效率非常重要 可以大致独立地进行采样。因为 随机访问内存(甚至更糟的是 磁盘)非常昂贵,这是一个很好的近似值,称为增量 gradient(Bertsekas,2010)将访问 以固定顺序对应的示例(或小批量) 按其在内存或磁盘中的顺序(重复 第二个历元上相同顺序的示例,如果 我们不是在纯在线的情况下,每个例子 只访问一次)。在这种情况下,如果 示例或小批量首先以随机方式放置 命令(为确保情况属实,可以 首先对示例进行洗牌是有用的)<强>更快收敛 已观察到,如果 每个历元访问的小批量都会更改, 如果训练集 保存在计算机内存中


{1} 班吉奥,约书亚。“神经网络:交易技巧。施普林格柏林海德堡,2012年。437-478.

是的,它应该在每次迭代时被洗牌,例如,引用自{1}:

对于任何随机梯度下降法(包括 对于小批量情况),每个示例或小批量对估计量的效率非常重要 可以大致独立地进行采样。因为 随机访问内存(甚至更糟的是 磁盘)非常昂贵,这是一个很好的近似值,称为增量 gradient(Bertsekas,2010)将访问 以固定顺序对应的示例(或小批量) 按其在内存或磁盘中的顺序(重复 第二个历元上相同顺序的示例,如果 我们不是在纯在线的情况下,每个例子 只访问一次)。在这种情况下,如果 示例或小批量首先以随机方式放置 命令(为确保情况属实,可以 首先对示例进行洗牌是有用的)<强>更快收敛 已观察到,如果 每个历元访问的小批量都会更改, 如果训练集 保存在计算机内存中


{1} 班吉奥,约书亚。“神经网络:交易技巧。施普林格柏林海德堡,2012年。437-478.

问题很清楚,只需要重新格式化。问题很清楚,只需要重新格式化。