如何在基于tensorflow lite对象检测android的应用程序中向语音添加文本?

我正在构建一个应用程序,它将帮助盲人以自己的方式发现障碍。为此,每当检测到任何对象时,我都需要应用程序说出对象名称(即Chair,Table)。

fangchengkuan 回答:如何在基于tensorflow lite对象检测android的应用程序中向语音添加文本?

我以前从未使用过TensorFlow,但是,如果它类似于Firebase ML Kit中的对象检测API,我将执行以下操作。

您可以尝试将对象的标签放在镜头前,然后使用Android的TTS API大声读出字符串。

我不知道您的应用程序是Android还是iOS。我以前在Android上使用过TTS。

以下是文档: https://developer.android.com/reference/android/speech/tts/TextToSpeech

这是我使用TTS构建的演示应用程序。它会读取您在inban EditText中键入的任何内容。

https://github.com/AlfredoBejarano/Android-Kotlin-Demos/tree/master/TextToSpeechDemo

,

要实现的目标与两项机器学习任务有关:(1)对象检测,并过滤您感兴趣的对象(例如障碍); (2)文字转语音(TTS)-说出该对象的名称。您需要将它们组合到管道中。

对于第一个任务,有时API可以在很多情况下起作用,但可能无法识别您感兴趣的所有对象。这取决于API可以提供多少类对象。另一个因素是,假设您的应用需要进行实时检测,则调用API的互联网延迟可能会受到限制。

考虑到上述情况,您可能想要训练自己的移动检测模型并将其部署在Android上。 Android中有一个TensorFlow Lite对象检测示例:https://www.tensorflow.org/lite/models/object_detection/overview。它仅在设备上运行(不需要Internet连接),因此您可以下载并尝试。该博客介绍了如何训练自定义模型:https://medium.com/tensorflow/training-and-serving-a-realtime-mobile-object-detector-in-30-minutes-with-cloud-tpus-b78971cf1193

对于第二项任务,TTS相对成熟,因此通常不必训练自己的模型。就像其他答复指出的那样,您可以在Android SDK中使用TTS:https://developer.android.com/reference/android/speech/tts/TextToSpeech。它也可以脱机运行。

本文链接:https://www.f2er.com/3119899.html

大家都在问