«Яндекс» научил большую языковую модель YandexGPT (YaLM 2.0) кратко пересказывать русскоязычные видеоролики из YouTube в «Яндекс Браузере», в «Яндекс Поиске» (ya.ru) в любом браузере и в сервисе 300.ya.ru. Пересказ основан на содержании видео, в нём могут быть неточности.
Разработчики проекта пояснили Хабру, что опция пересказа видео делает просмотр контента удобнее и понятнее: по клику на таймкод в ролике пользователь может перейти к интересующему фрагменту.
Как работает краткий пересказ видео от «Яндекса» через YandexGPT.
Нейросеть YandexGPT обобщает русскоязычные видеоролики длиной от двух минут до четырёх часов и пересказывает те фрагменты, где есть речь. Технология работает так: сначала алгоритм превращает аудиодорожку в текст с помощью распознавания речи, а затем YandexGPT разбивает его на смысловые фрагменты. Нейросеть обобщает каждый из них и указывает таймкод начала блоков.
В настоящее время опция пересказа корректно работает с популярными видео, например, рецептами приготовления блюд, создания различных поделок, роликами с решением школьных заданий или записей телепередач.
Чтобы получить пересказ ролика, нужно открыть видео и нажать на кнопку «Краткий пересказ». В «Яндекс Поиске» краткое содержание появится сразу после нажатия на такую же кнопку возле видео в выдаче. Для получения пересказа на 300.ya.ru понадобится скопировать ссылку на нужный ролик в поле ввода сервиса.
Новая опция пересказа «Яндекса» не всегда работает корректно и может выдавать подобные ошибки.
В июне 2023 года «Яндекс» научил YandexGPT тезисно пересказывать текст и открыл доступ к сервису 300.ya.ru. Нейросеть умеет выделять главное в русскоязычных текстах длиной до 30 тысяч знаков.
