Комментарии 14
Спасибо.
+5
По статье 4 вопрос — если убрать связь с предыдущей ячейкой, остаётся ли сеть рекурсивной?
0
Пейстну из чатика:
sim0nsays
Так эта, есть же recurrence через ct все равно?
Как полностью распараллелить?
gsoul
Я так понимаю, что все остальное считают в параллель, а c_t последовательно, но это не сильно тормозит весь процесс
sim0nsays
Хм, то есть сначала backward pass по ct последовательно, а потом параллельно все остальные для каждого шага?
gsoual
Со скрина ниже формулы 3, 4, 5 можно считать параллельно, 6 и 7 - нельзя.
asobolev
совсем параллельно нельзя, вся рекуррентность тогда уйдёт. Но можно попробовать другие архитектуры, вроде Attention is all you need именно такая
+2
А в телеграме публичного канала нет у вас с материалами и обсуждениями?
0
Пока что нет, подумаем над этим. А пока приходите к нам в Slack. Там интересно и не менее удобно, чем в Телеграме :3
+1
Зарегистрировался и что дальше?
+1
скоро придет инвайт в слак, у нас там ручная проверка, делается она раз в пару дней; причина такого отбора в том, что у нас платный аккаунт в слаке, который слак нам и предоставил как не коммерческой организации, но если пускать всех подряд, то там начнут плодится и пхп каналы, а людей будет десятки тысяч
0
я не думаю что будет в телеграме, хоть что то
+2
и обсуждениями
Обсуждения широкой тематики без разделов и тредов? Вы явно знаете толк в извращениях :-)
+3
Ребята, стухла идея со статьями? Или где-то в другом месте публикуете/обсуждаете?
+1
Зарегистрируйтесь на Хабре, чтобы оставить комментарий
Рубрика «Читаем статьи за вас». Сентябрь 2017