Python 如何提取支票/支票图像中的帐号

Python 如何提取支票/支票图像中的帐号,python,image,opencv,image-processing,ocr,Python,Image,Opencv,Image Processing,Ocr,我正在执行一项任务,从支票图像中提取账号。我目前的方法可以分为两个步骤 本地化帐号数字(打印数字) 使用OCR库执行OCR,如Tesseract OCR 第二步是直接假设我们已经正确地本地化了帐号数字 我尝试使用OpenCV等高线方法和MSER(最大稳定极值区域)来定位账号数字,但没有得到有用的结果。很难概括模式,因为 不同的银行支票有不同的模板 帐号位置不固定 我们如何处理这个问题。我是否必须寻找一些基于的深入学习方法 示例图像 假设帐号具有唯一的紫色文本颜色,我们可以使用颜色阈值。其思想

我正在执行一项任务,从支票图像中提取
账号
。我目前的方法可以分为两个步骤

  • 本地化帐号数字(打印数字)
  • 使用OCR库执行OCR,如
    Tesseract OCR
  • 第二步是直接假设我们已经正确地本地化了帐号数字

    我尝试使用
    OpenCV
    等高线方法和
    MSER
    (最大稳定极值区域)来定位账号数字,但没有得到有用的结果。很难概括模式,因为

    • 不同的银行支票有不同的模板
    • 帐号位置不固定
    我们如何处理这个问题。我是否必须寻找一些基于
    的深入学习方法

    示例图像

    假设帐号具有唯一的紫色文本颜色,我们可以使用颜色阈值。其思想是将图像转换为HSV颜色空间,然后定义较低/较高的颜色范围,并使用
    cv2.inRange()
    执行颜色阈值。在此基础上,我们通过轮廓区域进行过滤,以去除小噪声。最后,我们反转图像,因为我们希望文本为黑色,背景为白色。最后一步是在将图像放入Pytesseract之前对其进行高斯模糊。结果如下:

    肾盂切除术的结果

    30002010108841
    
    代码

    将numpy导入为np
    导入pytesseract
    进口cv2
    pytesseract.pytesseract.tesseract_cmd=r“C:\Program Files\tesseract OCR\tesseract.exe”
    image=cv2.imread('1.png')
    hsv=cv2.cvt颜色(图像,cv2.COLOR\u BGR2HSV)
    lower=np.数组([103,79,60])
    上限=np.数组([129255255])
    遮罩=cv2.inRange(hsv,下部,上部)
    cnts=cv2.查找孔(屏蔽、cv2.RETR\u外部、cv2.链近似\u简单)
    如果len(cnts)==2个其他cnts[1],则cnts=cnts[0]
    对于碳纳米管中的碳:
    面积=cv2。轮廓面积(c)
    如果面积小于10:
    cv2.绘制轮廓(掩模,[c],-1,(0,0,0),-1)
    掩码=255-掩码
    掩模=cv2.GaussianBlur(掩模,(3,3),0)
    data=pytesseract.image_to_字符串(掩码,lang='eng',config='--psm 6')
    打印(数据)
    cv2.imshow(“面具”,面具)
    cv2.waitKey()
    
    谢谢大家的建议,我最终培训了深度学习对象检测方法来定位账号,与基于OpenCV的方法相比,它给出了非常好的结果

    账号位于最底部,对吗?通常,我看到的支票没有明确的Ac No字段above@cuongptnk不,这是银行路线号码,我喜欢你的解决方案。然而,不确定紫色假设是否成立。我想需要OP提供更多的细节。也许只是提取所有的数字序列。然后对帐号应用一些约束:最小长度,需要以范围内的数字开始,等等。。。我认为这样更可靠?@Nathany不幸的是,账号没有固定的紫色,应该在box@arush1836我认为你需要列出一份我们可以依赖的知识清单:例如,“它应该在盒子里”是一个非常好的观点,因为第一步是找到“候选人”盒子。我们掌握的信息越多,我们就能更好地找到解决方案。我认为银行名称总是在左上角,对吗?如果是这样,我们可以先提取并识别银行。如果不是这样的话,在每一家银行,我们都有一个独特的模式来提取账号。嗨@arush,你能告诉我如何获取账号吗。基本上我想从aadhar卡中提取数据。我已经使用模板制作了一个边界框(labelImg)。任何应用输入的图像,但我可以得到好的结果。你能告诉我如何应用深度学习模型来检测文本并提取文本吗?Hi@Saini aadhar卡模板与支票图像模板相比不太复杂,我认为它只包含打印字符,所以OpenCV应该足以检测文本(对于识别部分,您可以使用tesseract ocr)。我相信深度学习方法对于您的任务来说是多余的
    import numpy as np
    import pytesseract
    import cv2
    
    pytesseract.pytesseract.tesseract_cmd = r"C:\Program Files\Tesseract-OCR\tesseract.exe"
    
    image = cv2.imread('1.png')
    hsv = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)
    lower = np.array([103,79,60])
    upper = np.array([129,255,255])
    mask = cv2.inRange(hsv, lower, upper)
    
    cnts = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    cnts = cnts[0] if len(cnts) == 2 else cnts[1]
    for c in cnts:
        area = cv2.contourArea(c)
        if area < 10:
            cv2.drawContours(mask, [c], -1, (0,0,0), -1)
    
    mask = 255 - mask
    mask = cv2.GaussianBlur(mask, (3,3), 0)
    
    data = pytesseract.image_to_string(mask, lang='eng',config='--psm 6')
    print(data)
    
    cv2.imshow('mask', mask)
    cv2.waitKey()