Открыть список
Как стать автором
Обновить
21
Карма
0
Рейтинг
Шкарин Сергей @Kouki_RUS

Исследователь данных

Более эффективное предварительное обучение NLP моделей с ELECTRA

Как и другие языковые модели, заменив у них голову под классификацию. Для этого существует множество библиотек, например, transformers, simple-transformers. Вот примеры решения задачи классификации:
github.com/ThilinaRajapakse/simpletransformers/tree/master/examples/text_classification

Переосмысление механизма внимания с Performers

Авторы в данной статье на этом не акцентировали внимание. Более подробно про внимание с ReLU можно прочитать в исходной работе:

arxiv.org/abs/2009.14794

GPT-3 в картинках: краткий обзор

Вероятно не отображаются картинки, которые располагаются на сайте автора оригинальной статьи. Они весят много, так что загрузить их на Habrastorage не получилось.

GPT-3 в картинках: краткий обзор

Какие конкретно картинки недоступны? У меня все отображается.

Ваш первый BERT: иллюстрированное руководство

Нет. Можно использовать и CPU, просто обучаться будет намного дольше.

GPT-2 в картинках (визуализация языковых моделей Трансформера)

Смотря какой язык. Думаю с основными европейскими (не русский) и китайским проблем не должно быть.

Transformer в картинках

Следующая статья на подходе — про BERT.

Что будет, если ускориться в полтора раза?

Пытаюсь постепенно дойти до скорости x3, пока остановился на x2.7. Но удобство восприятия зачастую зависит от свойств речи на записи — некоторые разговаривают так, что и на x1 их не всегда просто понять.

Информация

В рейтинге
5,734-й
Откуда
Москва, Москва и Московская обл., Россия
Дата рождения
Зарегистрирован
Активность