Комментарии 18
Спасибо за светлое будущее.
Может показаться, что Personality Insights это исключительно вредный и общественно опасный продукт для вторжения в личную жизнь
не совсем поняла, как возникла такая точка зрения? В том плане, что люди сейчас постоянно подвергаются подобным анализа, просто более точечным: подрор музыки, видео, фильмов, статей исходя из истории просмотров или запросов поисковика. Таких течений очень много и нельзя сказать, что люди воспринимают это как посягательство на личное или же вред. Так как многие рады тому, что им могут помочь рекомендации. И не нужно час искать инфу под свой вкус, так как лента подскажет (тут конечно рождается спор о создании информационных пузырей, но это уже другой аспект вопроса)
А можно ссылку на демку с фидбеком, все таки любопытно потестить ...
И любопытно на каком числе писателей проводилось тестирование и как подтверждались полученные результаты?
Насколько совпадают результаты вырваные из разных мест у одного и того же писателя?
получает на вход текст написанный определенным человеком и определяет по этому тексту четыре группы характеристик личности.
4. Покупательские предпочтения
гадание на картах таро при помощи ML ?
На самом деле нет, есть статистически значимая корреляция между характеристиками личности по Big 5 и потребительскими предпочтениями. Не так конечно, чтобы можно было у конкретного человека точно определить, но, например, из массы людей можно отфильтровать тех, у кого вероятность купить определенный продукт больше. Т.е. это предсказания уровня прогноза погоды, точность не гарантирована, но сбываемость выше чем случайное гадание
Ну если охота поиграть с фальсифицируемостью, то я бы навскидку предложил следующие варианты, что можно скормить, чтобы посмотреть вменяемость оценки и оценить границы применимости: кусок из какого-нибудь юридического документа (хоть бы и лицензионного соглашения, да даже УК РФ); кусок художественного текста, а лучше пару - одного автора, но из разных произведений, хорошо бы с сильной, но различной стилизацией.
Из более практического: свои сообщения лучше валить не в один файл, а в несколько, для разных типов общения - по работе, с родными, с друзьями-не коллегами (люди же в общении используют социальные маски? разные в различных ситуациях).
Если уже пробовали, не поделитесь результатами? Интересно.
если бы автор взял свои РАЗНЫЕ тексты на одном языке, и сравнил выдачу между собой, это бы наверняка протрезвило и опечалило).
Автор достаточно уверен в том, что на одном языке, и даже на трех языках, которые входят в обучающую выборку система работает неплохо, так как на тестовой выборке из 2000 текстов написанных разными людьми и одними и разных текстов одних и тех же людей имеется значимая корреляция с эталонными данными. Причем, как автор писал, если тестовую выборку увеличить за счет разбиения текстов одного человека на несколько частей, то результат не только не становится хуже, а даже улучшается.
Не вижу оснований и предпосылок в корреляции случайных текстов персоны и ее характеристик в общем случае. скорее всего именно поэтому был закрыт этот "сервис". впрочем, один частный случай и правда есть: если все такие тексты написаны человеком как характеристики на самого себя по всему этому спектру характеристик. именно то, что разбиение текста "улучшает" результат, подтверждает мою мысль - нейросеть "переобучается" лучше на дробленных текстах.
Основание - собственно лексическая гипотеза. Свойства личности проявляются в ее поведении, думаю с этим спорить нельзя. Написание текста это форма поведения, причем довольно сложного поведения. Отсюда гипотеза того, что в тексте эти свойства как-то появляются. Например, если человек пишет отрицательный отзыв о работе, скажем, ресторана, то кто-то напишет резко агрессивный отзыв, с угрозами жаловаться а кто-то просто напишет разочарованно-расстроенный. Хотя на один отзыв будут влиять случайные факторы, но если таких отзывов собрать много, то обнаружится закономерность.
Отсюда гипотеза сама по себе имеет право на существование. Далее мы производим проверки гипотезы и пока имеющиеся данные говорят в ее пользу.
многие исследователи считают, что это единственная модель свойств личности, которая имеет научное обоснованиеПочти все термины в данной модели (кроме «потребительских предпочтений») не имеют четких, однозначных, общепринятых трактовок, допускают непонимание и разночтения, поэтому возникают сомнения в существовании научной обоснованности данной модели.
нельзя публиковать, например я не смогу объяснить чем занимался заказчик и зачем ему была нужна эта модельОбоснованность выбора модели почти полностью зависит от задачи. Соответственно, обсуждать выбор не имеет смысла.
Но если задача «попробовать обучить модель для решения задач типирования личностей», то можно взять что-то попроще.
Характеристики из Big5 получены факторным анализом, а потом уже им люди подобрали названия. Сами названия могут быть не очень удачными, но это ничего вообще не говорит о правильности выделения самих факторов. Ну это как сказать, что название "морская свинка" неправильное и следовательно животного "морская свинка" не существует. Спор о терминологии в науке встречается не так уж редко, но это именно вопрос названий.
Выбор модели зависит от задачи, но не от применения. Т.е. есть задача предсказать характеристики личности, это важно для выбора модели. Что заказчик собирается дальше делать с характеристиками с точки зрения выбора модели не так важно. Обзор "моделей попроще" сделан в статье и указано то, что они работают хуже, кроме того, как сказано, заказчик уже имел "модель попроще".
это как сказать, что название «морская свинка» неправильное и следовательно животного «морская свинка» не существуетНет, это как сказать «морская свинка», подразумевая подводную лодку, названную в честь настоящей свиньи, которая смогла переплыть Ла-Манш, а потом удивляться, что люди пытаются высмотреть маленького лохматого грызуна. Тут не спор о терминологии, а о том, что не понятно, что именно ищут. Спорить о терминах имеет смысл до того, как на них опереться, позже уже не имеет смысла.
Например, под «экстраверсией» можно подразумевать очень разные свойства личности: энергичность, склонность к общительности, вплоть до зависимости, игнорирование границ, особый источник удовольствия, «направленность жизни на субъективное психическое содержание», «направленность либидо на внешний мир», просто дружелюбное и разговорчивое поведение, импульсивность и слабый контроль над чувствами, вплоть до слабой воли, восприимчивость к информации из внешней среды… Всякий раз, когда я слышу «да ты экстраверт», я хочу спросить — что именно вы хотите этим сказать?
Определения Юнга и Леонгарда сразу отложим в сторону, как побочные.
Айзенк, который выделил «большую тройку», мог определять экстраверсию как «степень, в которой человек направляет свою энергию внутрь себя или наружу на других».
Кеттел, который развил «тройку» до 16 факторов, мог определять экстраверсию как «склонность идти на контакт, любить завязывать знакомства, общительность».
Норман, который упростил модель до «большой пятерки», мог определять экстраверсию как «получение энергии от взаимодействия с другими людьми».
Оллпорт, который работал не столько над «пятеркой», сколько над гораздо более сложными системами (Диспозиционная модель установок и Функциональная автономия мотивов, например), определял экстраверсию как суперчерту, складывающуюся из общительности, живости, активности, настойчивости и стремления к успеху, причем каждая из составляющих черт тоже были составными.
Что именно из этого букета измеряла ваша модель?
И это только первый пункт из пяти. В дело пошел не один размытый термин, а набор из таковых. Странно, что удалось вообще прийти к какому-то положительному результату. Пока «большой пятеркой» руководствуются люди, отдельные случаи извлечения пользы вполне ожидаемы — люди умеют фильтровать и корректировать по ходу. Но вот когда модель, в основе которой лежит лексический подход, использующий факторный анализ словесных описаний характеристик человека, скармливают машине, ожидается появление значительного числа непоняток.
В 40-х годах XX века Гордон Олпорт и Генри Одберт собрали 18000 таких слов и сгруппировали их в 4000 разных характеристик личности. Далее с появлением компьютера другие исследователи начали применять факторный анализ и сократили число сначала до 18, потом до 16, ну и так далее, пока в 70-х годах XX века две группы (группа Поля Косты из Национального Института Здоровья США и Льюиса Голберга из Мичиганского университета) независимо друг от друга не пришли к 5 главным факторам.Любопытно, кстати, я немного иначе представлял себе историю этой типологии. Запишу в список чтения на досуг.
Цитата из вики:
Впервые 5-факторная модель была получена в ряде исследований, выполненных в 1960-е годы (Borgatta, 1964; Norman, 1963; Tupes & Christal, 1961).Тоже видно какое-то несовпадение.
В вики сильное упрощение, причем в русской более сильное, чем в английской. Мой вариант тоже некоторое упрощение, но лучше передает суть. В 60-х годах действительно первый раз были получены 5-факторные модели, но обоснование их вызывало сомнение и распространения они не получили, потом был период, когда эти исследования подвергались критике и не развивались и потом начинается новый виток развития в 80-х, современные модели это результат именно работ Голдберга, он же автор наиболее часто используемого теста-опросника. Можно почитать историю подробнее например тут (https://www.researchgate.net/publication/347933479_The_Discovery_and_Evolution_of_the_Big_Five_of_Personality_Traits_A_Historical_Review) текст на английском, правда
Выбор модели зависит от задачи, но не от применения. Т.е. есть задача предсказать характеристики личности, это важно для выбора модели.Отдельный вопрос вынесу в отдельный комментарий.
Для выбора модели важно определить решаемую задачу. Например, если мы делаем машину, которая должна распознавать эмоции, то для работы не следует брать список эмоций, которые человек может испытывать. И список эмоций, которые человек может хотеть демонстрировать, тоже плохо подходит. Нужно брать именно список эмоций, которые можно распознать по внешнему виду, и добавить к эмоциям состояния.
Характеристики личности, которые можно распознать по словам — это явно будут не только свойства, но и состояния с настроением и стремлениями. Соответственно, возникнет еще один вопрос — мы хотим оценить состояние сейчас (добродушный, злится, устал) или создать модель для предсказаний на будущее (склонен к импульсивным поступкам, быстро выдыхается, предпочитает статусные вещи)? Разные задачи требуют разных инструментов, поэтому применение должно влиять на выбор модели.
Для выбора модели важно определить решаемую задачу. Например, если мы делаем машину, которая должна распознавать эмоции, то для работы не следует брать список эмоций, которые человек может испытывать. И список эмоций, которые человек может хотеть демонстрировать, тоже плохо подходит. Нужно брать именно список эмоций, которые можно распознать по внешнему виду, и добавить к эмоциям состояния
В данной работе стояла задача воспроизвести то, что определяет Watson, это в основном свойства, которые считаются или совсем неизменными или изменяющимися за очень длительное время при особых обстоятельствах. Есть отдельные задачи определения тональности текста, где нужно выяснить текущие эмоции.
Что именно из этого букета измеряла ваша модель?
Ну опять, сами факторы изначально получены математическим анализом, дальше люди пытаются понять, что они значат и дают разные определения, которые отличаются, но примерно похожи. Это ведь не говорит, что самих факторов не существует, а просто о том, что их смысл может быть понят не точно. Далее, есть тест, который определяет значения этих факторов на основании опросника.
Модель всего лишь учится определять такие же факторы на основании текста, она не занимается дополнительной их интерпретацией.
На практике точное определение фактора может быть не важно, если мы знаем, что данный фактор коррелирует с каким-то нужным (или нежелательным) поведением. Как показывают исследования, такая корреляция действительно есть. Если я знаю, что (условно) человек с высоким значением экстраверсии с большей вероятностью пойдет на дискотеку, или предпочтет провести время в большой компании друзей, то словесное определение для практики сильно вторично. Ну то есть, есть величина X, она делает более вероятным поведение Y1, Y2, Y3... До тех пор, пока эти закономерности воспроизводятся, какое значение имеет спор об определении?
Определение типа личности по тексту (на замену закрытому IBM Watson Personality Insights)