20 октября

В Facebook AI продемонстрировали прямой машинный перевод с одного языка на другой

Машинное обучениеИскусственный интеллектИзучение языков
image

Facebook AI представила новую систему машинного перевода M2M-100 с 15 млрд параметров. Она способна переводить с одного языка на другой напрямую, не используя английский в качестве промежуточного.

Компания заявила, что новая система стала первой многоязычной моделью машинного перевода. Она способна осуществлять переводы между парами из ста языков. Модель обучали на наборе данных из более чем 7,5 млрд предложений как из базы Facebook, так и из других источников. При разработке использовали инструмент CommonCrawl, который поддерживает открытый репозиторий данных веб-сканирования, и систему классификации текстов FastText, которую в Facebook представили несколько лет назад.

Согласно метрикам BLEU, M2M-100 на 10 баллов опережает предшественника, где английский язык был промежуточным.

Facebook AI отмечает, что эта модель может быть полезной не только при машинном переводе, но и при изучении языков.

Компания пообещала сделать набор данных обучения и оценки модели доступным для научного сообщества.

В настоящее время только для своей новостной ленты Facebook ежедневно выполняет около 20 млрд машинных переводов. В компании отметили, что использование английского языка в качестве посредника снижало точность такого перевода и усложняло процесс.
См. также:

Теги:facebook ai researchмашинное обучениемашинный переводизучение языков
Хабы: Машинное обучение Искусственный интеллект Изучение языков
+7
2,3k 2
Комментарии 11
Похожие публикации
Машинное обучение
11 декабря 202049 000 ₽Нетология
Комплексное обучение JavaScript
14 декабря 202027 000 ₽Loftschool
Комплексное обучение PHP
11 января 202120 000 ₽Loftschool
Профессия Java-разработчик
1 декабря 202082 500 ₽SkillFactory
Data Analyst
1 декабря 202085 000 ₽SkillFactory
Лучшие публикации за сутки