Artificial intelligence 用于OCR的前馈神经网络训练

目前我正在学习神经网络，我正在尝试创建一个可以训练识别手写字符的应用程序。 对于这个问题，我使用了一个前馈神经网络，当我训练它识别1、2或3个不同的字符时，它似乎可以工作。但是，当我试图让网络学习超过3个字符时，它的错误率将停滞在40-60%左右

我尝试了多层和更少/更多的神经元，但我似乎无法正确理解，现在我想知道前馈神经网络是否能够识别那么多信息

一些统计数字：

网络类型：前馈神经网络

输入神经元：100（10*10）网格用于绘制字符

输出神经元：要重新组织的字符数

---

有人知道我的架构中可能存在的缺陷是什么吗？有太多的输入神经元吗？前馈神经网络不能识别字符吗？

用于您需要的手写字符识别

许多培训示例（也许您应该对培训集进行扭曲）

输出层中的softmax激活功能

交叉熵误差函数

使用随机梯度下降进行训练

每一层都有一个偏差

一个很好的测试问题是手写数字数据集。以下是在该数据集上成功应用神经网络的论文：

Y.LeCun，L.Bottou，Y.Bengio和p.Haffner：基于梯度的学习应用于文档识别

Dan Claudiu Ciresan、Ueli Meier、Luca Maria Gambardella、Juergen Schmidhuber：深-大-简单神经网络擅长手写数字识别

---

我用784-200-50-10体系结构训练了一名MLP，测试集的准确率超过96%。

你可能想在第三节和第四节课上学习。吴教授解决了这个问题。他正在对10位数字（0…9）进行分类。他在课堂上所做的一些事情使他达到了95%的训练准确率：

• 输入数字：400（20x20）
  • 隐藏层：2
  • 隐藏层大小：25
  • 激活功能：乙状结肠
  • 训练方法：梯度下降法
  • 数据大小：5000

---

检查此示例程序

程序使用

---

不久前，我尝试使用MNIST数据集识别手写数字时遇到了类似的问题。我的前馈神经网络在验证集上的准确率约为92%，但经常对我提供的图像进行错误分类

我通过在我的网络中添加一个隐藏层并使用RMSProp修复了这个问题。网络现在提供了大约97%的准确率，并且正确地分类了我给它的图像

---

此外，如果你的成本没有下降，这可能意味着你的学习率太高，或者你的网络可能陷入局部极小值。在这种情况下，您可以尝试降低学习率和初始权重

你使用了多少隐藏神经元？输入和输出神经元似乎适合你的任务，但你如何训练你的网络，你使用什么算法？如何初始化权重？我尝试使用backpopagation和遗传算法。我还尝试了一个由70个神经元组成的隐藏层，一次是两个隐藏层（70和40个）神经元。最后的解决方案是什么？这5点中的哪一点起了作用？这门课程现在已经开始，我认为“9.神经网络：学习”是你所指的部分。