Python 如何使用身体部位的手写T形作为目标并在其上粘贴图像？

我正在为我的大学作业开发一个项目，其中有一个AR部分，我试图与Unity和Vuforia合作。我想得到一个简单的T形（或者用户容易在手等身体部位绘制的任何形状）作为图像目标，因为我正在开发一个类似的应用程序。在这个应用程序中，他们有一个笑脸作为图像目标，当客户在身体上画一个笑脸并将相机放在上面时，相机会发现并在上面显示选定的纹身设计。我用Vuforia SDK尝试过，但是他们给了图像目标一个等级，所以我无法得到我想要的图像目标。我认为使用openCV是正确的方法，但是学习起来太难了，我的时间也少了。我认为这不是一件需要实施的大事，所以请尝试帮助我解决这个问题。我想你明白我的意思了。在inkHunter中，即使我将目标画在一张纸上，他们也会在上面显示纹身。我需要相同的，这意味着我需要检测绘制的目标。如果你能在这种情况下帮助我，那就太好了。谢谢

目标可以是这样的,

我能够从图片中进行模板匹配，并将其应用于实时，这意味着我可以在帧中循环。但是它似乎没有将模板与框架相匹配，我意识到found（簿记变量）总是空的。

import cv2 as cv2
import numpy as np
import imutils


def main():

    template = cv2.imread("C:\\Users\\Manthika\\Desktop\\opencvtest\\template.jpg")
    template = cv2.cvtColor(template, cv2.COLOR_BGR2GRAY)
    template = cv2.Canny(template, 50, 200)
    (tH, tW) = template.shape[:2]
    cv2.imshow("Template", template)

    windowName = "Something"
    cv2.namedWindow(windowName)
    cap = cv2.VideoCapture(0)

    if cap.isOpened():
        ret, frame = cap.read()
    else:
        ret = False

    # loop over the frames to find the template
    while ret:
        # load the image, convert it to grayscale, and initialize the
        # bookkeeping variable to keep track of the matched region
        ret, frame = cap.read()
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
        found = None

        # loop over the scales of the image
        for scale in np.linspace(0.2, 1.0, 20)[::-1]:
            # resize the image according to the scale, and keep track
            # of the ratio of the resizing
            resized = imutils.resize(gray, width=int(gray.shape[1] * scale))
            r = gray.shape[1] / float(resized.shape[1])

            # if the resized image is smaller than the template, then break
            # from the loop
            if resized.shape[0] < tH or resized.shape[1] < tW:
                break

            # detect edges in the resized, grayscale image and apply template
            # matching to find the template in the image
            edged = cv2.Canny(resized, 50, 200)
            result = cv2.matchTemplate(edged, template, cv2.TM_CCOEFF)
            (_, maxVal, _, maxLoc) = cv2.minMaxLoc(result)

            # if we have found a new maximum correlation value, then update
            # the bookkeeping variable
            if found is None or maxVal > found[0]:
                found = (maxVal, maxLoc, r)
                print(found)

            # unpack the bookkeeping variable and compute the (x, y) coordinates
            # of the bounding box based on the resized ratio
        print(found)
        if found is None:
            # just show only the frames if the template is not detected
            cv2.imshow(windowName, frame)
        else:
            (_, maxLoc, r) = found
            (startX, startY) = (int(maxLoc[0] * r), int(maxLoc[1] * r))
            (endX, endY) = (int((maxLoc[0] + tW) * r), int((maxLoc[1] + tH) * r))

            # draw a bounding box around the detected result and display the image
            cv2.rectangle(frame, (startX, startY), (endX, endY), (0, 0, 255), 2)
            cv2.imshow(windowName, frame)

        if cv2.waitKey(1) == 27:
            break

    cv2.destroyAllWindows()
    cap.release()


if __name__ == "__main__":
    main()

将cv2作为cv2导入
将numpy作为np导入
导入imutils
def main（）：
template=cv2.imread（“C:\\Users\\Manthika\\Desktop\\opencvtest\\template.jpg”）
模板=cv2.CVT颜色（模板，cv2.COLOR\u BGR2GRAY）
模板=cv2.Canny（模板，50200）
（tH，tW）=模板形状[：2]
cv2.imshow（“模板”，模板）
windowName=“某物”
cv2.namedWindow（windowName）
cap=cv2.视频捕获（0）
如果cap.isOpened（）：
ret，frame=cap.read（）
其他：
ret=假
#在帧上循环以查找模板
而ret：
#加载图像，将其转换为灰度，然后初始化
#用于跟踪匹配区域的簿记变量
ret，frame=cap.read（）
灰色=cv2.CVT颜色（边框，cv2.COLOR\u BGR2GRAY）
找到=无
#在图像的比例上循环
对于np.linspace（0.2,1.0,20）[：-1]中的比例：
#根据比例调整图像大小，并保持跟踪
#调整大小的比率
resized=imutils.resize（灰色，宽度=int（灰色.shape[1]*比例））
r=gray.shape[1]/浮动（已调整大小的.shape[1]）
#如果调整大小的图像小于模板，则断开
#从循环
如果调整了.shape[0]found[0]：
找到=（maxVal、maxLoc、r）
打印（已找到）
#解包簿记变量并计算（x，y）坐标
#根据调整大小的比例调整边界框的大小
打印（已找到）
如果未找到，请执行以下操作：
#如果未检测到模板，则仅显示帧
cv2.imshow（窗口名，帧）
其他：
（u，maxLoc，r）=找到
（startX，startY）=（int（maxLoc[0]*r），int（maxLoc[1]*r））
（endX，endY）=（int（（maxLoc[0]+tW）*r），int（（maxLoc[1]+tH）*r））
#在检测到的结果周围绘制边界框并显示图像
cv2.矩形（帧，（startX，startY），（endX，endY），（0，0，255），2）
cv2.imshow（窗口名，帧）
如果cv2.waitKey（1）==27：
打破
cv2.destroyAllWindows（）
第1章释放（）
如果名称=“\uuuuu main\uuuuuuuu”：
main（）

---

请帮我解决这个问题

我可以用OpenCV部分提示您，但是如果没有Unity和Vuforia，希望它能有所帮助

因此，我对项目管道的看法是：

检测位置、大小和纵横比

使用单纯形变换图像，该图像应置于原始图像之上

覆盖将一个图像置于另一个图像之上

我假设目标是一张白纸上的一个黑色“T”，它可能出现在纸张的不同位置，纸张本身也可能移动

1。检测位置、大小和纵横比

首先，你需要检测一张纸，因为你知道它的颜色和纵横比，你可以使用RGB/HSV阈值分割。您也可以尝试使用深度/机器学习（一些类似的策略，如R-CNN等），但这需要时间。然后，您可以使用OpenCV中的findContours（）函数来获取最大的对象。从轮廓可以得到纸张的位置、大小和纵横比

在那之后，你做同样的事情，但在一张纸内，寻找“T”。在这里，您可以使用模板匹配方法，只需使用不同大小的预定义遮罩扫描感兴趣的区域，或者只需重复上述步骤

一个有用的资源可能是信用卡字符识别示例。有一天它帮了我很多：）

2。使用单应矩阵变换应置于原始图像上方的图像

提取纵横比后，您将知道应显示在“T”顶部的大致大小和形状。这将允许您使用同形文字来转换要置于“T”之上的图像。这是一个很好的开始，你也可以谷歌的一些其他来源，有应该