Image processing 按相对字体大小对图像上的文本进行排序

我正在做一个项目，我们正在尝试OCR旧表单。这些表格都是排版的，数据通常都是打印出来的。表单有多种字体大小和对齐方式。以下是一个例子：

我们发现不同的字体大小和对齐方式会产生较差的OCR结果

我们拍摄了一些图像，并按字体大小手动重新组织它们。重新组织的第一个样本的子集可能如下所示：

我们发现这种重组产生了显著更好的OCR结果

我正在寻找使这种重组自动化的技术。我尝试过使用连接组件/水滴分析来按高度查找元素。这通常会导致较差的结果，因为字体大小随字母高度的变化而变化，这是由于字母的上升和下降

---

感谢您对这个问题的深入了解。

大声思考：

这确实是一个令人不安的问题，因为相同脸型的角色并不是都有相同的高度和宽度（不包括受损和接触的角色）

如果没有印刷字体制作的一些先验知识，尤其是小写和大写的相对高度/对齐方式，您将无能为力。也就是说，文字中的字符通常具有相同的面、面大小甚至大小写，并且有一个共同的基线。在普通文本中，基线往往沿着整条线延伸。但对于简短的注释或填写的表单，没有任何规则可以依赖

因此，第一个挑战是通过区分空白和普通间距，在单词中对字符进行分组。然后你可以假设一个单词中的所有字符都有相同的大小。您还可以假设文档包含少量不同大小的内容（例如最多五个）

一个选项是获取所有字符的原始大小，并将它们聚集在少量的簇中。然后，您可以通过将大小与簇匹配并检查同质性来验证单词中大小的一致性

请注意，没有完美的解决方案，最后一个单词只能在识别字符（！）后说出