Comments 16
Там тоже, к слову, Gensim использовался в качестве примера.
Где можно найти эмбеддинги для русского языка?
Например, на сайте fastText:
https://fasttext.cc/docs/en/crawl-vectors.html
А также здесь:
http://docs.deeppavlov.ai/en/master/intro/pretrained_vectors.html
Уже ответили на вопрос выше, но ещё как вариант у Гуглового BERT есть мультиязыковая модель, считается более актуальной моделью за счёт обучения на предложениях, а не словах.
На кэгле как раз начался новый конкурс по NLP, так что чтиво очень пригодилось, чтобы лучше понимать, что вообще происходит
Кажется, что вместо `nor` должно стоять `not`
Спасибо за статью
коэффициент Отиаи (геометрический коэффициент)
Почему б не сказать просто «косинус угла между векторами»? Зачем такие странные названия.
>>Уверен, что большинство из вас догадались, что здесь должен быть «автобус»
Что могло быть очевиднее!
Не понимаю, каким образом происходит корректировка вектора эмбеддинга и контекстных векторов на последнем этапе обучения
По аналогии как и в обычных нейронных сетях. Ведь скалярное произведение векторов полный аналог слоя нейронов. Т.е. мы ошибку распределяем по компонентам вектера, чем больше было их произведение, чем сильнее их меняем.
a1*b1+a2*b2=x
x_new=x+e
a1_new=(x+e-a2*b2)/b1;
da1=a1_new-a1
w=speed [0;1] w->0
a1+=da1*w
Word2vec в картинках