Comments 7
С омонимией как справляются все эти методы?
Очень интересные результаты, спасибо!
Сам занимаюсь другой областью NN, но мне всегда было интересно, можно ли сделать «онлайн обучение новым понятиям».
Я полагаю, человеческий мозг делает такое обучение постоянно, в течение всей жизни.
Услышав незнакомое слово в первый раз мы, исходя из контекста разговора, уже можем сразу отнести его к каким-то группам, установить ассоциативные связи.
Услышав это же слово во второй раз мы можем обновлять связанные с ним ассоциации (его embedding-представление).
Компьютерный алгоритм делает нечто похожее, когда обучается строить для слова его embedding-вектор, за несколько часов (дней?) обрабатывая языковой корпус.
Далее у меня возникают риторические (пока) вопросы:
1. У компьютера длина embedding-вектора задается изначально. Есть ли такое ограничение в мозге?
2. Меняется ли представление в мозге по мере развития (скорее всего да)? Как это можно это повторить в компьютерном алгоритме, автоматически увеличивая длину embedding-вектора по мере «необходимости»?
Сам занимаюсь другой областью NN, но мне всегда было интересно, можно ли сделать «онлайн обучение новым понятиям».
Я полагаю, человеческий мозг делает такое обучение постоянно, в течение всей жизни.
Услышав незнакомое слово в первый раз мы, исходя из контекста разговора, уже можем сразу отнести его к каким-то группам, установить ассоциативные связи.
Услышав это же слово во второй раз мы можем обновлять связанные с ним ассоциации (его embedding-представление).
Компьютерный алгоритм делает нечто похожее, когда обучается строить для слова его embedding-вектор, за несколько часов (дней?) обрабатывая языковой корпус.
Далее у меня возникают риторические (пока) вопросы:
1. У компьютера длина embedding-вектора задается изначально. Есть ли такое ограничение в мозге?
2. Меняется ли представление в мозге по мере развития (скорее всего да)? Как это можно это повторить в компьютерном алгоритме, автоматически увеличивая длину embedding-вектора по мере «необходимости»?
Мне кажется, мозг работает скорее в бесконечномерной модели.
Например, ребенок узнает, что его папа работает пилотом. Слову пилот проставляется признак профессия, для начала хватит. Потом он узнает, что пилот управляет самолетом, проставляется признак, что он летает в небе. Потом он узнает, что у его отца есть коллеги — стюардесса и штурман, второй пилот. Чтобы дифференцировать эти профессии, проставляются флаги управляет самолетом, принимает решение и т.п. Потом он узнает про военных летчиков и уточняет, что гражданский пилот возит людей. Потом узнает, что есть еще гражданские пилоты, которые летают на транспортных самолетах и т.п. Т.е. он добавляет все новые и новые свойства к уже знакомому понятию. При этом, если у него есть дальний родственник шахтер, это слово долго будет оставаться просто профессией, без доп флагов. Т.е. в интересной человеку области осей будет больше, в неинтересной — меньше.
И в итоге жезненного опыта, учебы и работы между mssql и mysql в моей голове огромная дистанция, хотя большинство составляющих вектора для них одинаковы (и сами вектора длинные), а между сатином и атласом разницы толком нет, вектора короткие. Думаю, в голове моей девушки ситуация обратная :)
Например, ребенок узнает, что его папа работает пилотом. Слову пилот проставляется признак профессия, для начала хватит. Потом он узнает, что пилот управляет самолетом, проставляется признак, что он летает в небе. Потом он узнает, что у его отца есть коллеги — стюардесса и штурман, второй пилот. Чтобы дифференцировать эти профессии, проставляются флаги управляет самолетом, принимает решение и т.п. Потом он узнает про военных летчиков и уточняет, что гражданский пилот возит людей. Потом узнает, что есть еще гражданские пилоты, которые летают на транспортных самолетах и т.п. Т.е. он добавляет все новые и новые свойства к уже знакомому понятию. При этом, если у него есть дальний родственник шахтер, это слово долго будет оставаться просто профессией, без доп флагов. Т.е. в интересной человеку области осей будет больше, в неинтересной — меньше.
И в итоге жезненного опыта, учебы и работы между mssql и mysql в моей голове огромная дистанция, хотя большинство составляющих вектора для них одинаковы (и сами вектора длинные), а между сатином и атласом разницы толком нет, вектора короткие. Думаю, в голове моей девушки ситуация обратная :)
А есть реальные кейсы использования векторной арифметики для эмбеддингов? А то эти «плюс король минус мужчина» встречаю исключительно как примеры.
С близостью-то понятно.
С близостью-то понятно.
Sign up to leave a comment.
Нейросети и философия языка