Python
Algorithms
Machine learning
Popular science
Artificial Intelligence
Comments 7
0
Насколько я понял, модель оперирует смыслами, а не графическим начертанием слов. По идее, на неё можно накладывать разные письменности. Возможно, она даже способна указывать на векторы (смыслы), для которых ещё не придуманы слова.
+1
Очень интересные результаты, спасибо!
Сам занимаюсь другой областью NN, но мне всегда было интересно, можно ли сделать «онлайн обучение новым понятиям».
Я полагаю, человеческий мозг делает такое обучение постоянно, в течение всей жизни.
Услышав незнакомое слово в первый раз мы, исходя из контекста разговора, уже можем сразу отнести его к каким-то группам, установить ассоциативные связи.
Услышав это же слово во второй раз мы можем обновлять связанные с ним ассоциации (его embedding-представление).
Компьютерный алгоритм делает нечто похожее, когда обучается строить для слова его embedding-вектор, за несколько часов (дней?) обрабатывая языковой корпус.
Далее у меня возникают риторические (пока) вопросы:
1. У компьютера длина embedding-вектора задается изначально. Есть ли такое ограничение в мозге?
2. Меняется ли представление в мозге по мере развития (скорее всего да)? Как это можно это повторить в компьютерном алгоритме, автоматически увеличивая длину embedding-вектора по мере «необходимости»?
0
Мне кажется, мозг работает скорее в бесконечномерной модели.

Например, ребенок узнает, что его папа работает пилотом. Слову пилот проставляется признак профессия, для начала хватит. Потом он узнает, что пилот управляет самолетом, проставляется признак, что он летает в небе. Потом он узнает, что у его отца есть коллеги — стюардесса и штурман, второй пилот. Чтобы дифференцировать эти профессии, проставляются флаги управляет самолетом, принимает решение и т.п. Потом он узнает про военных летчиков и уточняет, что гражданский пилот возит людей. Потом узнает, что есть еще гражданские пилоты, которые летают на транспортных самолетах и т.п. Т.е. он добавляет все новые и новые свойства к уже знакомому понятию. При этом, если у него есть дальний родственник шахтер, это слово долго будет оставаться просто профессией, без доп флагов. Т.е. в интересной человеку области осей будет больше, в неинтересной — меньше.

И в итоге жезненного опыта, учебы и работы между mssql и mysql в моей голове огромная дистанция, хотя большинство составляющих вектора для них одинаковы (и сами вектора длинные), а между сатином и атласом разницы толком нет, вектора короткие. Думаю, в голове моей девушки ситуация обратная :)
0
А есть реальные кейсы использования векторной арифметики для эмбеддингов? А то эти «плюс король минус мужчина» встречаю исключительно как примеры.
С близостью-то понятно.
0

Это уже пару лет как стандарт для кучи задач. Хотя бы для представления текста в глубоком обучении.

Only those users with full accounts are able to leave comments. , please.