Голосовой дневник на python с распознаванием голоса и сохранением в Mongo DB

Зачем всё это?

Все больше растет популярность голосовых интерфейсов. Многие технологические компании-гиганты стремятся сделать своего голосового помощника. Но речевые технологии доступны и обычным пользователям. Каждый может использовать их в своих проектах и делать голосовые интерфейсы еще удобнее и популярнее .

Голосовой дневник - лишь один из примеров того, как можно встроить функции голосового интерфейса в повседневные действия.

Постановка задачи

У голосового дневника есть 4 основные задачи:

• распознать входящее аудиосообщение

• сохранить данные в базу

• вернуть или удалить данные из базы

• иметь удобный интерфейс взаимодействия

Будем использовать mongo db для сохранения нашего очень важного текста, docker для разворачивания базы данных, telegram в качестве интерфейса и голосовую модель vosk для распознавания голоса.

Разберемся подробнее с составными частями нашего дневника.

Голосовой движок

Для распознавания голоса нужна языковая модель (online или offline), которая будет за разумное время переводить аудио в текст. Среди прочих существующих моделей мне понравился open source проект vosk. Он работает offline и достаточно точно распознает голосовые сообщения. К тому же, в нем для русского языка есть как очень легкие (43 mb) так и очень тяжелые (2.5 gb) модели, а выбор - это всегда хорошо. Полный список доступных моделей можно найти на официальном сайте. Помимо русского, там есть украинский, английский, немецкий и многие другие.

Ниже представлен код, использующий русскоязычную модель распознавания речи. Из особенностей: на вход должен подаваться файл формата wav.

import wave
import json
import vosk
from vosk import KaldiRecognizer


def recognize_phrase(model: vosk.Model, phrase_wav_path: str) -> str:
    """
    Recognize Russian voice in wav
    """

    wave_audio_file = wave.open(phrase_wav_path, "rb")
    offline_recognizer = KaldiRecognizer(model, 24000)
    data = wave_audio_file.readframes(wave_audio_file.getnframes())

    offline_recognizer.AcceptWaveform(data)
    recognized_data = json.loads(offline_recognizer.Result())["text"]
    return recognized_data

Хотя offline модели распознавания не такие точные, как их online аналоги, все-таки независимость от интернет-соединения развязывает руки во многих проектах.

Из минусов распознавания:

• Не может распознать слова на другом языке

• Плохо распознает заимствованные и терминологические слова

База данных

Для хранения текстовых данных будем использовать mongo db. Среди явных преимуществ такого решения следующее:

• Удобное хранение объемных текстовых данных

• Легкость расширения хранимых полей

• Простота обращения с индексом

Полный код команд добавления, удаления и поиска по базе mongo db можно найти в репозитории проекта, здесь же, для примера, разберем функцию добавления наших текстовых данных.

import datetime
from pymongo.errors import DuplicateKeyError
from pymongo.collection import Collection


def add_value(database: Collection, value: str):
    """
    Добавить одну запись в базу данных
    """

    database_index = int(datetime.datetime.now().timestamp())
    try:
        database.insert_one({'_id': database_index, 'text': value})
        return True

    except DuplicateKeyError:
        return False

Индексом для хранилища выбран timestamp по нескольким причинам:

• Быстрый поиск / удаление для интервалов дат (одна из функций дневника)

• Наличие всего одного юзера (не будет проблем с дублированием индекса)

• Не нужно заморачиваться и выдумывать что-то сложнее

FFmpeg

FFmpeg — набор свободных библиотек с открытым исходным кодом, которые позволяют записывать, конвертировать и передавать цифровые аудио- и видеозаписи в различных форматах.

Зачем нам ffmpeg ? Формат файла, в котором сохраняются аудио-сообщения из telegram - это ogg. Но vosk работает с форматом wav. Поэтому будем использовать ffmpeg для трансформации ogg в wav.

Многие существующие библиотеки обработки аудио на python требуют наличие установленного ffmpeg. Но если у нас установлен ffmpeg, зачем использовать библиотеку, если можно использовать встроенные команды?

# команда для конвертации ogg в wav
ffmpeg -i ./my_phrase.ogg 
-ar 16000 -ac 2 -ab 192K -f wav ./my_phrase_to_translite.wav

Docker

Нужен для того, чтобы запустить внутри контейнера базу данных. В перспективе приложение с интерфейсом бота так же будет разворачиваться внутри отдельного контейнера.

Сам скрипт запуска достаточно простой, но есть один важный момент: нам не нужно разворачивать базу данных, если ее контейнер уже существует. Мы же не хотим однажды потерять все наши накопленные записи. Делается это очень просто: поиском имени запускаемого контейнера в пространстве имен уже запущенных ранее.

Команда для проверки:

if docker inspect --format '{{json .State.Running}}' mongo_database
then
  echo "container is already running"
  exit
fi

Telegram bot API

В качестве интерфейса дневника будем использовать всеми любимый telegram, а именно бота по API ключу. Преимущества такого решения следующие:

1. Удобное API

2. Реализованная функция отправки голосового сообщения

3. Работа дневника в интерфейсном режиме чата

Пример работы

Далее идем в базу данных за нашими сообщениями, но уже в формате текста.

Как видим, текст распознался корректно и пользователю вернулись все записи, которые он сделал за последние 10 минут.

А что дальше?

Своим проектом я хотел показать простоту использования базовых голосовых функций в 2021 году. При желании можно прикрутить эвристическое / machine learning распознавание фраз или ключевых слов и сделать на основе этого проекта голосовое управление какой-нибудь системой.

Весь код проекта можно найти здесь: проект на GitHub