Мы сделали наш публичный синтез речи еще лучше

Кто не знает татарский:

Я тебя люблю, какашкой козьей накормлю.

Это весьма противоречивый и холиворный вопрос. Если воспринимать все мнения буквально, то чтобы всех удовлетворить нужно:

• Сделать CLI пакеты (или их аналоги) маленького размера, которые бы ставились одной строчкой на все платформы (Linux, Mac, Windows, ARM, iOS, Android);
• Проинтегрироваться со всеми самыми популярными читалками;
• Питон и фреймворки ни в коем случае использовать нельзя, все должно быть бинарем без зависимостей;
• Пока качество хуже чем в Алисе а скорость ниже, чем у классических синтезаторов (например espeak), то вообще ничего публиковать не надо;
• Все кейсы (книги, чтение с экрана), нормализация и middleware должны уже быть включены в пакеты;

Довольно очевидно, что чтобы удовлетворить все эти критерии, нужно очень много денег, времени и ресурсов, которых у нас нет.

С другой стороны, при ускорении всего синтеза хотя еще бы раз в 10 и при наличии прогресса в Торче по упаковке дистрибутивов, вполне допускаю, что рано или поздно 80% этого даже может стать реальностью.

а нельзя ли просто использовать данные из Common Voice? Там уже есть интерфейс, оценка другими пользователями.

Сам интерфейс в принципе там неплохой, но вот с подключением микрофонов к телефону у меня лично были проблемы (поэтому мы записываем просто через веб-страничку) — кодеки видимо грустят на телефоне, хз

А вообще по сообщениям людей, кто пробовал там записывать, там какой-то мрак так как проект явно пустили на самотек какое-то время назад
Но в любом случае там все настроено на сбор данных для распознавания а не синтеза

Насчет данных — там конечно можно провести некоторую работу по чистке, но

• Там в среднем очень мало записей на 1 спикера
• В среднем очень низкое качество

Так что наверное на популярные языки там можно несколько спикеров найти, но это не самый короткий путь. Да и языков СНГ там не очень много. А языки не-СНГ у нас основные и так вроде уже есть. Хотелось бы лучше конечно записать наши языки и найти датасеты для всех языков Индии. С точки зрения пользы для нас и людей в целом, это будет лучше.

Как посмотреть на проект? Вы давайте в начале каждой статьи один абзац говорящий о том что за проект и где его найти, для тех то впервые види

Да, наверное стоило поставить ссылку в самом начале (я поставил ссылку на первую статью)
Вот ссылка на репозиторий с моделями — https://github.com/snakers4/silero-models
Добавлю абзац в начало статьи

К тембру мы присматриваемся только, ничего пока не делали
Там скорее надо ускорить синтез на порядок еще
Интонации, эмоции, тембр, питч, скорость — это все уже сильно следующие итерации, я пока даже не знаю как часть этого делать

Да
Рано или поздно вывесим список интеграций / кейсов на сайт

На сколько я понял (поправьте, если не прав), уже обученная модель исполняется PyTorch, т.е. в принципе исходники ваши вообще не используются, если есть обученная модель.

Если чуть более точно — в данном сама модель(-и, их там уже иногда несколько внутри пакетов), то есть ее код и веса, код пред- и пост-обработки — это все упаковано внутрь релиза. И потом нужен питон (стандартная библиотека) и PyTorch, чтобы это все работало. Там не используется каких-либо особых библиотек и в теории в будущем даже зависимость от PyTorch станет менее явной. Вообще по идее торч упаковывается в бинарь через libtorch, в кода на питоне там практически вне модели уже и нет.

Внезапно как оказалось TorchScript и встроенный компилятор торча творят чудеса, и за редкими исключениями (например он грустит от кириллицы) туда можно запихать почти все, что декомпозируется на стандартную библиотеку питона и собственно сам PyTorch.

Возникает вопрос, является ли сама обученная модель программой для ЭВМ, чтобы попадать под действие авторского права и чтобы на неё распространялась лицензия. Или обученная модель — это просто данные, а не программа и потому на обученную модель авторское право не распространяется?

Короткий ответ — никто не знает как лицензировать нейросети, причем не только в России. Это некоторая серая зона, ниже приведу некоторые контр-примеры, из которых по крайней мере для себя я давно сделал вывод, что право или не догнало реальность или оно работает только для тех, кто достаточно обеспечен, чтобы лоббировать свои карманные законы.

AGPL там стоит как самая подходящая из доступных лицензия для некоммерческой "демо-версии" (и отчасти для отпугивания инфо-цыган). В реальности в большинстве случаев в синтезе заказчики заинтересованы не столько в публичных моделях (которые мы поддерживаем чисто для комьюнити и общественно-полезных кейсов), а в ряде других вещей:

• Свои голоса;
• Какие-то особенные фичи;
• Middleware под конкретный домен;
• Какой-то глубокий кастом или извращения;

Список контр-примеров:

• Оригинальный Imagenet тупо напарсили из интернета, но никого не смущает использование его деривативных работ повсеместно. Так сказать когда миллион раз его поматросили, он "прошел юридическую очистку";

  
  

• В интернете в среднем де-факто отсутствуют механизмы копирайта. Но при этом, на YouTube существует абсолютно человеконенавистническая система, где за цитирование 15 секунд песни The Beatles на канале про образование без монетизации автору прилетает страйк. Да что далеко ходить, мне недавно в комментариях на Хабре CEO одной "более крупной компании" с интересными формулировками мне между строк угрожал в духе того, что fair use данных из Open STT это большое зло;

  
  

• Есть не один десяток стартапов и компаний, кто даже привлекает десятки миллионов долларов от инвесторов… и их работа состоит в переупаковке публичных артефактов исследований того же Google (который жгет сотни миллионов долларов на "трансформеры", но публикует их "для галки" и неудобно) внутрь своих проектов. И никого особо не волнует эта ситуация, потому что все понимают, что Google от этого не теряет свои позиции (скорее интереснее мотивация этих инвесторов) и скорее еще сильнее создает эффект выжженной земли;

  
  

• Насчет датасетов и кода — популярные лицензии там мягко говоря все устаревшие, все отражающие реалии или пары десятилетий назад или условные для галочки. Либо полный OSS и анархия, либо лицензии в духе "ну типа юзайте как есть";

  
  

• Постоянная практика, когда корпорации берут независимые (но прорывные или уникальные) OSS репозитории (модели и код), приклеивают к ним свой красивый лейбл (или в случае Amazon тупо копируют даже не удаляя комментарии авторов) — и с этим ничего невозможно сделать. Вы не готовы потратить 10 миллионов долларов и 5 лет на суды в США?;

  
  

• Полный мрак с ситуацией про распознавание лиц. По идее это большой ай-яй-яй уровня нарушения базовых прав на жизнь и свободу человека (можно бесконечно иронизировать на тему законов, которые принимают в РФ, но не будем). Но всем пофиг по 3 причинам (i) урон конкретному лицу тяжело оценить (типичная проблема дилеммы разбитых фонарей) (ii) государствам выгодно скатывание в казарменный полицейский тоталитаризм (iii) "сначала они пришли за X, но я не был X";

  
  

Список можно продолжать бесконечно.

По ряду причин нет:

• Родственники или дети вряд ли дадут согласие + нужно будет скорее всего лично со всеми ними говорить (это банально много времени);
• С этической точки зрения, например в отличие от абстрактных в вакууме персонажей мультиков, советские актеры — это "конкретные" люди;
• Не хочется уподобляться сбербанку и фонду кино, которые очень неумело и зачастую омерзительно присваивают себе советские символы (см. недавнюю рекламу сбера, омерзительные распильные патриотические фильмы, которые настолько омерзительны, что родственники тех, про кого снимали "историческое кино" подают в суд за диффамацию);
• Даже если кто-то и заинтересуется, то скорее всего опять же будет шестизначная цифра в долларах за права, так как все например помнят суды Э. Успенского против молочной корпорации;