Comments 7
Насколько я понял, модель оперирует смыслами, а не графическим начертанием слов. По идее, на неё можно накладывать разные письменности. Возможно, она даже способна указывать на векторы (смыслы), для которых ещё не придуманы слова.
Очень интересные результаты, спасибо!
Сам занимаюсь другой областью NN, но мне всегда было интересно, можно ли сделать «онлайн обучение новым понятиям».
Я полагаю, человеческий мозг делает такое обучение постоянно, в течение всей жизни.
Услышав незнакомое слово в первый раз мы, исходя из контекста разговора, уже можем сразу отнести его к каким-то группам, установить ассоциативные связи.
Услышав это же слово во второй раз мы можем обновлять связанные с ним ассоциации (его embedding-представление).
Компьютерный алгоритм делает нечто похожее, когда обучается строить для слова его embedding-вектор, за несколько часов (дней?) обрабатывая языковой корпус.
Далее у меня возникают риторические (пока) вопросы:
1. У компьютера длина embedding-вектора задается изначально. Есть ли такое ограничение в мозге?
2. Меняется ли представление в мозге по мере развития (скорее всего да)? Как это можно это повторить в компьютерном алгоритме, автоматически увеличивая длину embedding-вектора по мере «необходимости»?
Мне кажется, мозг работает скорее в бесконечномерной модели.

Например, ребенок узнает, что его папа работает пилотом. Слову пилот проставляется признак профессия, для начала хватит. Потом он узнает, что пилот управляет самолетом, проставляется признак, что он летает в небе. Потом он узнает, что у его отца есть коллеги — стюардесса и штурман, второй пилот. Чтобы дифференцировать эти профессии, проставляются флаги управляет самолетом, принимает решение и т.п. Потом он узнает про военных летчиков и уточняет, что гражданский пилот возит людей. Потом узнает, что есть еще гражданские пилоты, которые летают на транспортных самолетах и т.п. Т.е. он добавляет все новые и новые свойства к уже знакомому понятию. При этом, если у него есть дальний родственник шахтер, это слово долго будет оставаться просто профессией, без доп флагов. Т.е. в интересной человеку области осей будет больше, в неинтересной — меньше.

И в итоге жезненного опыта, учебы и работы между mssql и mysql в моей голове огромная дистанция, хотя большинство составляющих вектора для них одинаковы (и сами вектора длинные), а между сатином и атласом разницы толком нет, вектора короткие. Думаю, в голове моей девушки ситуация обратная :)
А есть реальные кейсы использования векторной арифметики для эмбеддингов? А то эти «плюс король минус мужчина» встречаю исключительно как примеры.
С близостью-то понятно.

Это уже пару лет как стандарт для кучи задач. Хотя бы для представления текста в глубоком обучении.

Only those users with full accounts are able to leave comments. Log in, please.