Python 图像噪声匹配图像文本

Python 图像噪声匹配图像文本,python,machine-learning,Python,Machine Learning,因此,我一直在阅读使用TensorFlow和Keras的机器学习,我一直在尝试使用一些自定义图像设置一个数据集,并尝试学习脚本来识别文本,同时过滤掉噪声,但问题是噪声颜色是相同的,文本颜色导致过滤掉所有内容 我不是要求得到勺子,我只是想要指向解决/训练脚本解决图像上文本的最佳方法的指针 我要找的是让脚本在屏幕上阅读,计算隐藏在图像中的单词,并在命令行中打印结果 没有示例代码,因为之前的一切都是失败的,而不是我真正想要的。 在开始项目之前,您应该检查数据的“质量”,以及它对实时应用程序或项目的价值

因此,我一直在阅读使用TensorFlow和Keras的机器学习,我一直在尝试使用一些自定义图像设置一个数据集,并尝试学习脚本来识别文本,同时过滤掉噪声,但问题是噪声颜色是相同的,文本颜色导致过滤掉所有内容

我不是要求得到勺子,我只是想要指向解决/训练脚本解决图像上文本的最佳方法的指针

我要找的是让脚本在屏幕上阅读,计算隐藏在图像中的单词,并在命令行中打印结果

没有示例代码,因为之前的一切都是失败的,而不是我真正想要的。


在开始项目之前,您应该检查数据的“质量”,以及它对实时应用程序或项目的价值,如果图像不容易被人类读取,那么使用此类数据进行训练是有点错误的,因为人类往往非常善于从视觉上识别事物,很多时候,“偏差误差”都是根据这一点来计算的。
不管怎样,如果你的目标是阅读图像中有噪音的文本,你可以尝试以下技巧,这些技巧摘自Andrew Ng教授的在线课程:“改进深层神经网络:超参数调整、正则化和优化”:

1-在普通和明文图像上训练数据,因为 它可以让你的算法从清晰的图像中学习很多特征和初始属性,比如字母的形状,有时你可能会对结果感到惊讶

2-让你的开发集(和你的测试集)包含大量有噪音的文本图像,这样你就可以检查你的算法在你真正关心的数据上的表现(你的目标

3-更改数据集可能有点困难,但如果噪声使foto的一部分甚至对人类来说也难以读取,则此数据集可能没有用处。(并非总是如此) 因此,您可以将噪声清晰的图像与噪声图像混合(从旧图像中创建一个新数据集),使其保持真实且不太机械,然后在新数据上训练算法

构建一个好的ML算法或应用程序首先取决于您的数据,这些只是一些符号,可以帮助您以另一种方式思考问题。

a)您可以尝试的一件事是获取明文图像的数据,通过向图像中添加人工噪声并将其作为输入来训练图像去噪,训练GAN或类似网络,将图像通过该网络,然后将其传递给文本检测器/ocr引擎(如pytesseract或google vision ocr)

B) 在可能的字符集(如YOLO或FasterRCNN)上训练图像检测器,并添加噪声,您可以通过再次人为地向数据添加噪声来实现这一点,但可能需要一些手动注释

C) 您可以尝试类似的方法,检查图像中的所有字母/已知字符,然后合并结果。我个人更喜欢这个

另外,我还没有完全阅读C语言链接的文章,但是你链接的图像似乎更接近于用单发分割法来解决,而不是训练一个GAN


PPS。根据您在问题下的评论,确保创建验证码解决机器人不会违反使用该网站的任何法律条件(出于某种原因,我觉得有义务这么说。)

您有办法生成这些图像吗?每次刷新页面时都会生成这些图像,这是为一个网站使用验证码之前,你可以加载到下一页OK,所以你没有方法生成这些图像。这意味着您没有基于简单机器学习方法的正确数据。第0步是访问正确的(数量)数据。什么是良好的数据量?1000张图片?我无法访问文件或任何东西这取决于一点,但我猜大概是
100000
注释图像(即,您应该“阅读”的图像和文本)。