Neural network 如何使用神经网络检测和识别文档上的信息?

Neural network 如何使用神经网络检测和识别文档上的信息?,neural-network,conv-neural-network,Neural Network,Conv Neural Network,我面临以下问题: 我扫描了文件,其中包括我部分想要检测的数据和一些我们不感兴趣的其他数据 这些文档可能看起来像这样: 现在,我只想知道一个人的名字和姓氏以及他的地址。所有其他信息并不重要。现在,我想知道如何使用神经网络获得这些信息。我认为第一步需要使用YOLO网络等进行信息提取。因此,YOLO网络应使用边界框对该信息进行本地化,如图所示: 提取信息后,需要对其进行识别。所以,我认为这可能是一种类似于车牌识别的方法,在车牌识别中,车牌首先被本地化,然后被识别,对吗 因此,第二步是识别本地化信息

我面临以下问题:

我扫描了文件,其中包括我部分想要检测的数据和一些我们不感兴趣的其他数据

这些文档可能看起来像这样:

现在,我只想知道一个人的名字和姓氏以及他的地址。所有其他信息并不重要。现在,我想知道如何使用神经网络获得这些信息。我认为第一步需要使用YOLO网络等进行信息提取。因此,YOLO网络应使用边界框对该信息进行本地化,如图所示:

提取信息后,需要对其进行识别。所以,我认为这可能是一种类似于车牌识别的方法,在车牌识别中,车牌首先被本地化,然后被识别,对吗

因此,第二步是识别本地化信息,即:

我认为这种方法与发票处理的某些方法非常相似。 还是有完全不同的方法?也许先将文档数字化,然后再使用自然语言处理来获取信息


非常感谢

类似于谷歌云视觉API的东西是一种选择吗?它可以检测和读取文本,并返回找到的文本。然后在结果中简单地搜索名字和姓氏:

您可以在此处尝试使用您的图像进行演示:

要回答您的评论:

看看这个:本质上,您得到了一个JSON对象,其中包含一个名为textAnnotations的项目数组。他们举的例子是:

      "textAnnotations": [
    {
      "locale": "en",
      "description": "WAITING?\nPLEASE\nTURN OFF\nYOUR\nENGINE\n",
      "boundingPoly": {
        "vertices": [
          {
            "x": 341,
            "y": 828
          },
          {
            "x": 2249,
            "y": 828
          },
          {
            "x": 2249,
            "y": 1993
          },
          {
            "x": 341,
            "y": 1993
          }
        ]
      }
    },
    {
      "description": "WAITING?",
      "boundingPoly": {
        "vertices": [
          {
            "x": 352,
            "y": 828
          },
          {
            "x": 2248,
            "y": 911
          },
          {
            "x": 2238,
            "y": 1148
          },
          {
            "x": 342,
            "y": 1065
          }
        ]
      }
    }, etc etc ....
因此,您所需要做的就是在数组中循环,找到名字和姓氏后面的那些。Sudo代码如下:

var firstname = "", surname = "";    
for( var i=0; i < response.textAnnotations.length; i++) {
  if ( response.textAnnotations[i].description == "First name:" ) firstname = response.textAnnotations[i + 1].description;
}
var firstname=“”,姓氏=“”;
对于(var i=0;i

希望这有意义

谢谢!是的,这是一个很好的文档数字化工具。您将使用什么技术来查找所需信息?