Комментарии 14

По статье 4 вопрос — если убрать связь с предыдущей ячейкой, остаётся ли сеть рекурсивной?

Пейстну из чатика:

sim0nsays
Так эта, есть же recurrence через ct все равно?
Как полностью распараллелить?

gsoul
Я так понимаю, что все остальное считают в параллель, а c_t последовательно, но это не сильно тормозит весь процесс

sim0nsays
Хм, то есть сначала backward pass по ct последовательно, а потом параллельно все остальные для каждого шага?

gsoual
Со скрина ниже формулы 3, 4, 5 можно считать параллельно, 6 и 7 - нельзя.

asobolev
совсем параллельно нельзя, вся рекуррентность тогда уйдёт. Но можно попробовать другие архитектуры, вроде Attention is all you need именно такая
А в телеграме публичного канала нет у вас с материалами и обсуждениями?
Пока что нет, подумаем над этим. А пока приходите к нам в Slack. Там интересно и не менее удобно, чем в Телеграме :3
скоро придет инвайт в слак, у нас там ручная проверка, делается она раз в пару дней; причина такого отбора в том, что у нас платный аккаунт в слаке, который слак нам и предоставил как не коммерческой организации, но если пускать всех подряд, то там начнут плодится и пхп каналы, а людей будет десятки тысяч
и обсуждениями

Обсуждения широкой тематики без разделов и тредов? Вы явно знаете толк в извращениях :-)
Ребята, стухла идея со статьями? Или где-то в другом месте публикуете/обсуждаете?
вступайте в ods.ai, у нас там слак в котором есть канал #article_essence откуда и берется материал для формирования этой рубрики
Только полноправные пользователи могут оставлять комментарии. Войдите, пожалуйста.

Информация

Дата основания
Местоположение
Россия
Сайт
ods.ai
Численность
5 001–10 000 человек
Дата регистрации

Блог на Хабре