Comments 7
Хорошая статья, спасибо. Если вдруг не попадалось: www.aclweb.org/anthology/R19-1115.pdf
0
Да, действительно не попадалось. Собираю идеи для продолжения: Word Mover’s Distance, Doc2vec, Smooth Inverse Frequency with GloVe и, возможно, можно дополнить контекстными эмбедингами токенов из BERT.
0
Да, можно еще sBert (https://arxiv.org/abs/1908.10084) и BERTScore ( arxiv.org/abs/1904.09675 ) добавить. вообще, конечно, их расплодилось… слишком уж неочевидно :)
0
Я думаю, много моделей тут недоучились и поэтому показали слабые результаты.
+1
Как минимум каждая обучалась 20 эпох, и останавливалась только если результат становился хуже, а для финального графика брался только лучший результат. Да и можно увидеть по результатам, что до обучения результат лучше, чем после.
0
Еще есть предобученные модели от UKPLab — sentence-transformers с их мультиязыковыми моделями на 13 и на 100 языков. Есть USE от гугла и новейший LaBSE на 109 языков от них же. Немного написал про них тут https://habr.com/ru/post/517226/. Соль в том, что они выровненные и можно в них подавать предложения на разных языках без указания самого языка.
0
Sign up to leave a comment.
Articles
Change theme settings
Обзор методов создания эмбедингов предложений, Часть2