Комментарии 2
А что за внимание с ReLU? Показано, что оно лучше, но не слова о том, что это.
0
Авторы в данной статье на этом не акцентировали внимание. Более подробно про внимание с ReLU можно прочитать в исходной работе:
arxiv.org/abs/2009.14794
arxiv.org/abs/2009.14794
0
Зарегистрируйтесь на Хабре , чтобы оставить комментарий
Переосмысление механизма внимания с Performers