Комментарии 4
Хорошая статья, молодцы
В самом начале статьи, хорошо бы давать определение. Что такое трансформеры и NLP. Дабы было понятно, входит ли статья в круг интересов и стоит ли её читать.
<sarcasm> Разве не понятно что "Трансформеры за последние несколько лет штурмом захватили мир NLP " - это про Десептиконов напавших на аэропорт Nelspruit (NLP) </sarcasm>
А так да, определения точно нужны ибо даже в одной области (IT) абревиатура NLP может быть и Natural Language Parsing, и Natural Language Processing, и Network Layer Protocol.
Обычно self-attention на русский язык переводится как "внутреннее внимание", а не "самовнимание" (хотя гугл-переводчик "генерирует" такой перевод вместо нормального)). Этот термин пришёл из когнитивистики; синоним "субъективному вниманию".
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Наглядно о том, почему трансформеры работают настолько хорошо