如何在基于android的tensorflow lite对象检测应用程序中向语音添加文本?

如何在基于android的tensorflow lite对象检测应用程序中向语音添加文本?,android,text-to-speech,tensorflow-lite,object-detection-api,Android,Text To Speech,Tensorflow Lite,Object Detection Api,我正在开发一款应用程序,帮助盲人发现路上的障碍。为此,每当检测到任何对象时,我需要应用程序说出对象名称(即椅子、桌子)。我个人以前从未使用过TensorFlow,但是,如果它类似于firebase ML Kit中的对象检测API,我将执行以下操作 你可以试着在摄像机前获取对象的标签,然后使用Android的TTS API大声读出字符串 我不知道你的应用程序是安卓还是iOS。我以前在Android上使用过TTS 以下是文件: 这里是我用TTS构建的一个演示应用程序。它读取您在编辑文本中键入的任何

我正在开发一款应用程序,帮助盲人发现路上的障碍。为此,每当检测到任何对象时,我需要应用程序说出对象名称(即椅子、桌子)。

我个人以前从未使用过TensorFlow,但是,如果它类似于firebase ML Kit中的对象检测API,我将执行以下操作

你可以试着在摄像机前获取对象的标签,然后使用Android的TTS API大声读出字符串

我不知道你的应用程序是安卓还是iOS。我以前在Android上使用过TTS

以下是文件:

这里是我用TTS构建的一个演示应用程序。它读取您在编辑文本中键入的任何内容


要实现的目标与两项机器学习任务有关:(1)目标检测和过滤您感兴趣的对象(如障碍物);(2) 文本到语音(TTS)-说出该对象的名称。您需要将它们合并到一个管道中

对于第一个任务,有时API可以用于许多情况,但可能无法识别您感兴趣的所有对象。这取决于API可以提供多少类对象。另一个因素是,假设你的应用程序需要进行实时检测,那么调用API的互联网延迟可能是有限的

考虑到上述情况,您可能希望培训自己的移动检测模型,并将其部署到Android上。Android中有一个TensorFlow Lite对象检测示例:。它完全在设备上运行(不需要互联网连接),所以您可以下载并尝试。本博客介绍如何训练自定义模型:


对于第二项任务,TTS相对成熟,因此通常不需要训练您自己的模型。正如另一个回复所指出的,您可以在Android SDK中使用TTS:。它也可以脱机运行。

第一个任务已经完成。事实上,我被第二个任务困住了。你们有在tensorflowlite中工作的TTS代码吗?你们找到解决方案了吗?