OpenCV文本框检测

我正在为Gui自动化测试编写一个工具。 通过指定文本字符串，我想获得当前屏幕上最近文本框的坐标

函数的签名应如下所示：

Point GetNearestTextBoxPosition（字符串textOnLabel）

我已设法获得给定字符串

textOnLabel

的坐标，因此我只需实现此函数：

Point GetNearestTextBoxPosition（Point textLabelPosition）

---

我想用计算机视觉技术实现这个功能，比如矩形检测。有没有人能告诉我如何使用OpenCV实现这一目标？

您可以非常轻松地检测矩形

也就是说，你确定计算机视觉方法是合适的吗

---

如果您的GUI是web，则可以使用Watir或Selenium之类的库在DOM级别驱动。如果您的GUI是本机应用程序，那么也有用于操作它们的控件。

假设您只有相关屏幕的位图图像，我建议使用直方图来确定屏幕上文本的大致位置，然后使用这些区域内的OCR来确定文本。如果您找到与正在搜索的字符串匹配的文本，则可以使用从文本边界计算出的简单水平和垂直渐变测试来查找包含框（假设它具有不同颜色的边框或背景色）

---

在没有看到示例输入的情况下，很难比这更具体。

但是spy++无法识别某些控件，因此无法通过脚本进行操作。