В настоящей работе изложены принципы применения технологии персонализации, учитывающей психологические особенности пользователей, при формировании выдачи по информационному поиску.
Целью данной технологии является создание для пользователя персонального комфортного пространства в сети интернет вообще, и положительного опыта взаимодействия с поисковым сервисом в частности. Как следствие, поисковые сервисы получают инструментарий для оптимизации использования своих ресурсов.
В настоящее время по каждому информационному запросу пользователя поисковая система находит тысячи ресурсов. Как определить, какие именно ресурсы заинтересуют пользователя, чтоб присвоить им более высокий ранг среди всех других? Решение проблемы релевантности выдачи по информационному запросу является одной из приоритетных задач для поисковых сервисов и отнюдь не потому, что они хотят сэкономить время пользователя, а ввиду ресурсоемкости процесса. Поскольку существующим ныне системам необходимо периодически производить сканирование и индексацию всех страниц в интернете, определять их популярность с привязкой к поисковым запросам пользователей, хранить информацию обо всех запросах всех пользователей, чтоб иногда обращаться к истории запросов, то вопрос оптимизации использования ресурса становится весьма актуальным.
Одним из вариантов оптимизации является персонализированный поиск, призванный избавить пользователя от необходимости тратить время на перелистывание страниц выдачи, а сервис — от «подтягивания» все новых и новых страниц.
До недавнего времени персональный поиск использовал некие данные о пользователе (будь то кратковременная или долговременная поисковая история, интересы или что-либо другое) для повышения релевантности выдачи или не использовал таковых.
Данная технология является универсальной для применения в различных сферах интернет деятельности, объединенных двумя понятиями «человек – цифровая информация». Сюда можно отнести рекомендательные системы, рекламу, информационный поиск и др.
Описываемая технология персонализации базируется на 2 основных принципах. Первый – потребности человека определяют вектор его активности (другими словами – поведение) осознаваемый или неосознаваемый. Исключение составляют некоторые психические расстройства, но мы их не будем учитывать. Второй принцип – реактивность психики, то есть, при воздействии стимула психика выдает некую определенную реакцию на него.
Применительно к поведению человека в сети интернет указанные принципы образуют цепочку – «поиск актуальной информации – потребление информации». (Необходимо отметить, первое — в данном случае слово «актуальный» отражает ситуационность явления. У человека имеется ряд потребностей, актуализация одной или нескольких из которых и задают ситуационный вектор поведения; второе – даже если человек заходит в интернет для общения, то это не меняет сути – происходит удовлетворение определенной потребности, а само общение выступает в качестве способа достижения результата). Иными словами, пользователь целенаправленно производит интернет серфинг (последовательность переходов от страницы к странице, а по сути – поиск), а психика на каждую единицу контента выдает реакцию – положительную (подходит) или отрицательную (не подходит). В случае положительной реакции серфинг прерывается и происходит «потребление контента».
Изначально проблема персонализированного поиска лежит на стыке двух областей науки – психологии и информационных технологий. В данном случае психология должна ответить на вопросы – какие именно элементы контента и как необходимо учитывать при формировании выдачи на информационный запрос, чтоб выдачу можно было назвать персонализированной, то есть удовлетворяющей потребности персонально этого пользователя. Информационные технологии в свою очередь должны обеспечить инструментарий (алгоритмы) для выделения и интерпретации этих элементов.
Предлагаемый подход заключается в построении модели психики пользователя, которая позволит с высокой долей вероятности прогнозировать реакцию пользователя на предлагаемую ему единицу контента. (В данном случае под «высокой долей вероятности» понимается вероятность равная или превышающая 80%).
Построение модели психики конкретного пользователя осуществляется по следующему алгоритму:
1) Регистрация реакции пользователя на единицу контента. В качестве положительной реакции учитывается как факт клика на ссылку (или указание ресурса в адресной строке браузера самим пользователем), так и время нахождения на странице.
2) Выделение в ссылке и ее описании (если был переход по ссылке) или в тематике ресурса (если имело место использование адресной строки браузера) смысловых единиц (под «смысловыми единицами» здесь и далее понимаются некие идеи), на которые могла среагировать психика пользователя. С этой целью была разработана семантическая сеть, которая описывает связь между определенными феноменами внешнего мира и их отражением во внутреннем (психическом) плане человека вплоть до выявления врожденных или сформированных в процессе онтогенеза личностных характеристик, определяющих именно такой вариант отражения.
3) Построение модели, которая содержит не только категории, которые определяются непосредственно реакцией на те или иные элементы контента, но и, в основном, связанные с ними глубинные характеристики личности (врожденные, приобретенные в процессе онтогенеза), но и [категории] относящиеся к актуальному культурально-информационному пространству (принимаемые социальные нормы, принадлежность к тому или иному социальному классу и др.).
Однако, как оказалось на практике, использование модели психики в таком виде для решения прикладных задач оказалось затруднительным. Поэтому было предложено формировать профиль пользователя, который будет содержать некоторое количество характеристик пользователя, отражающие его реакции на ограниченное число смысловых единиц, значимых для поискового поведения. Профиль пользователя представляет собой упрощенную версию модели психики, которую легко применять для решения прикладных задач.
Проанализировав с помощью экспертного метода запросы в поисковой активности пользователей, предоставленные компанией Яндекс в свободный доступ (ввиду проведения соревнования), удалось выделить 9 основных групп запросов, такие как — запрос на инструкцию, получение в интернете, выбор и др.
Анализ учитывал «идею» запроса, игнорируя форму выражения данной идеи.
Для каждой из групп экспертным методом был составлен глоссарий. Слова в глоссариях различных групп запросов не пересекались. Используя данный глоссарий, можно в автоматическом режиме определять группу по ключевым словам запроса.
Также для каждой из групп экспертным методом была разработана специфическая система шкал. Данные шкалы отражают инвариантность значимых характеристик информации, которая будет содержаться в ответах на запросы, отнесенные к данной группе. Например, для группы «Запрос на инструкцию» были определены следующие шкалы: уровень интеллекта, теория-практика, поверхностность-углубленность, образность, хаотичность-структурность и другие. Разные группы включают разное количество шкал.
У каждого пользователя ввиду личностных особенностей формируются специфические для него ожидания от ответа на запрос, то есть, каждый пользователь «ожидает» получить информацию с определенным набором характеристик. Пример для запроса о смартфоне-новинке — если подобный запрос делает молодая девушка, то она, с большой вероятностью, ожидает увидеть в выдаче ресурсы с большим количеством фотографий, чтобы оценить дизайн, цветовую гамму и др., так как для нее смартфон – это модный аксессуар. Если данный запрос делает гик, то он будет ожидать информацию технического плана, чтоб оценить возможности новинки и сравнить с аналогами, если таковые существуют.
Исключение составляют ситуации использования поисковой системы как аналога калькулятора, логарифмической линейки или любого другого устройства, вывод информации в котором максимально унифицирован в плане интерпретации и производится обычно в виде символов (цифр и/или условных знаков).
Опираясь на вышеизложенное, хотим подчеркнуть 2 момента: первый – шкалы отражают характеристики информации; второй – личностные особенности пользователя определяют его ожидания.
Следовательно, персональный поиск, по сути, сводится к определению ожиданий конкретного пользователя и предложению ему информации обладающей необходимыми характеристиками. Эта процедура никак не затрагивает предмет поиска.
Предлагаемая технология персонализации с одной стороны позволяет с большой вероятностью определить ожидания конкретного пользователя. Для этой цели анализируется история запросов пользователя и формируется его профиль, где будут отражаться все значимые для данного пользователя шкалы по каждой группе запросов. С другой стороны технология предлагает инструментарий для определения характеристик информации.
Как формирование начального профиля пользователя и последующие его перерасчеты, так и определение характеристик информации могут производиться в оффлайн режиме, что позволит свести операции в режиме реального времени к расчету текущего индекса [необходимой] группы запросов в профиле пользователя и ранжирования ресурсов согласно максимальному соответствию рассчитанному индексу.
Для оценки возможности использования предлагаемой технологии для целей персонализированного поиска был проведен эксперимент. В качестве рабочей гипотезы было выбрано предположение, что применение данной технологии персонализации в поисковом сервисе повышает релевантность выдачи по информационному запросу, а значит, ранг выбранного пользователем ресурса будет меньше.
Описание выборки
Эксперимент проводился на выборке данных, предоставленной в открытый доступ компанией Яндекс в рамках проведения открытого соревнования по персонализированному сетевому поиску (Personalized Wed Search Challenge). Данная «база» содержала информацию о поисковой активности ~ 41тыс. пользователей за период 60 дней. Предлагались следующие данные:
— ID пользователя
— ID запроса
— текст поискового запроса пользователя
— унифицированный текст запроса поисковой системы
— список ресурсов на первой странице выдачи (или первые 10 ресурсов) и соответствующий ранг
— ранг ресурса, на который кликнул пользователь
Ввиду ограниченности производительных мощностей выборка была уменьшена выборку до 4 500чел., отобранных системой случайным образом.
В итоге параметры выборки были следующие:
— кол-во пользователей – 4 500 чел.
— учетный период активности – 60 дней (с 19-09-13 по 17-11-13)
— общее кол-во запросов – 1 104 347
Описание эксперимента
В качестве метода для проведения эксперимента был выбран модифицированный А/В тест. Модификация заключалась в том, что деление на экспериментальную и контрольную группу осуществлялось не среди субъектов, а среди объектов. Другими словами разделению на группы подверглась поисковая активность пользователей, а не сами пользователи. Это было обусловлено тем, что данный подход подразумевает формирование для каждого пользователя профиля с его личностными характеристиками.
На 1-м этапе эксперимента система проводила категоризацию запросов, то есть отнесение к одной из вышеупомянутых 9 групп.
В выборке выделенные группы перекрыли 48,7% (538 441) всех запросов. В оставшиеся 51,3% (565 906) вошли запросы, которые система не смогла идентифицировать из-за грамматических ошибок, использования транслитерации, использования слов, которые не вошли ни в один из глоссариев.
На 2-м этапе происходила оценка возможности формирования персонального профиля для пользователей выборки. Так как для формирования функционального профиля в рамках предлагаемого подхода существует нижний предел пользовательской поисковой активности (в нашем случае 40 запросов), то система отбросила пользователей, не удовлетворяющих данному критерию, и их запросы. В итоге выборка уменьшилась до 3 826чел. с общим числом запросов – 523 007.
Данный этап обусловлен исключительно ограниченностью данных. У поисковых сервисов указанной проблемы не должно существовать.
На 3-м этапе происходило разделение запросов на экспериментальную и контрольную группу.
Было решено разбить на группы в соотношение 80:20, то есть 80% активности каждого пользователя попадают в экспериментальную группу, 20% — в контрольную.
В итоге в экспериментальной группе получилось 418 406 запросов, а в контрольной – 104 601.
На 4-м этапе запросы из экспериментальной группы (418 406 запросов) были обработаны системой по схеме: определение группы запроса -> оценка выраженности значимых шкал для ресурса, выбранного пользователем.
Определение группы запроса осуществлялось путем сравнения ключевых слов запроса с глоссариями групп запросов. Затем система определяла значимые шкалы для данной группы запросов и оценивала их выраженность. Мы не можем раскрыть принципы и механизм оценки выраженности, поскольку данная информация является коммерческой тайной, однако можем сказать, что они доступны машинному обучению.
По результатам обработки запросов в экспериментальной группе происходило формирование профилей пользователей. В профиле для каждой из групп запросов указывались наименования значимых для данного пользователя шкал и расчетные коэффициенты (уровень приоритетности шкалы для пользователя).
Следует отметить, что ввиду ограниченности расчетных мощностей система обрабатывала ресурсы в целом, а не конкретные страницы ресурсов, выбранные пользователями. Например, если пользователь выбирал slovo.ws/resh/007, то система анализировала slovo.ws. Данный факт, во-первых, привел к тому, что из обработки выпали все агрегаторы контента, такие как, социальные сети, Youtube и т.п., по причине широкого разнообразия контента на них; во-вторых, это не могло не сказаться на результатах эксперимента в сторону их ухудшения.
На 5-м этапе запросы из контрольной группы (104 601 запрос) обрабатывались системой по схеме: определение группы запроса -> определение выраженности значимых шкал -> расчет индекса соответствия персональному профилю -> ранжирование ресурсов в поисковой выдаче по индексу соответствия -> определение ранга ресурса, выбранного пользователем.
Определение группы запроса осуществлялось, как и на предыдущем этапе, путем сравнения ключевых слов запроса с глоссариями групп запросов. Затем система определяла значимые шкалы для данной группы запросов и оценивала их выраженность. После этого происходил расчет индекса соответствия для каждого ресурса из поисковой выдачи (первых 10 ресурсов). Данный индекс отражал насколько сами шкалы и их выраженность у ресурса в выдаче соответствуют значимым для пользователя шкалам для данной группы запросов в его персональном профиле. На основе рассчитанных индексов соответствия система составляла ранжированный список ресурсов в поисковой выдаче и определяла ранг ресурса, выбранного пользователем.
На заключительном этапе имел место анализ запросов по критерию информативности. После отсеивания неинформативных запросов происходило вычисление и сравнение средних рангов выбранных ресурсов в выдаче поискового сервиса и в списках, ранжированных по индексам персональных соответствий.
При анализе запросов относительно их информативности были отсеяны следующие:
а) запросы, когда пользователь выбирал ресурсы в поисковой выдаче строго в ранговой последовательности, например, (ранги ресурсов) 1*; 1, 2; 1, 2, 3; 1, 2, 3, 4; 1, 2, 3, 4, 5 и т.д., — поскольку, как мы считаем, подобное поведение не отражает персональных предпочтений, а скорее является следствием стереотипизации восприятия ранжированной информации – от наиболее значимой (сверху) к менее значимой (ниже по списку). Можно было бы допустить, что в подобном случае последний ресурс является наиболее релевантным для пользователя (после ознакомления с ним пользователь прекратил / изменил поисковую активность по данному запросу). В таком случае необходимо было анализировать (сравнивать) следующие временные параметры, — время между предъявлением поисковой выдачи и первым выбором пользователя, время взаимодействия с контентом, время следующего запроса — и параметры уникальности контента, — наличие непересекающейся информации, стиль изложения и др. Указанный анализ нами не проводился, так как временных параметров в базе данных, предоставленной поисковым сервисом в открытый доступ, не было, а анализ уникальности контента хоть и требовал значительных расчетных ресурсов, но был бесполезен без временных данных.
* — для определения того, что пользователь выбрал ресурс №1 из-за соответствия своим ожиданиям (то есть выбор определили персональные характеристики пользователя), а не потому, что это шаблонное действие, необходимо анализировать время между предъявлением поисковой выдачи и кликом на ссылку. Временной промежуток должен быть достаточным для сравнения параметров ресурса №1 (формулировка фразы-ссылки, содержание сниппета, адрес ресурса) с соответствующими параметрами минимум следующего в списке ресурса №2. Как указывалось выше, временных параметров в базе данных, предоставленной поисковым сервисом, не было.
Наличие у поисковых сервисов полной информации по истории запросов может быть использовано для определения присутствия в поисковом поведении пользователя шаблонных действий и последующей оптимизации применения технологии персонального поиска.
б) запросы, если хотя бы у одного из ресурсов в соответствующей поисковой выдаче отсутствовал индекс соответствия. Несмотря на то, что отсутствие индекса не могло повысить эффективность применения предлагаемого подхода, так как помещало ресурсы вниз списка, однако, предметом анализа должны были выступать выборы, определенные персональными характеристиками пользователей, а не несовершенством аппаратуры.
в) запросы, где в поисковой выдаче были ссылки на разные страницы одного ресурса. Так как система анализировала не конкретные страницы, а ресурсы в целом, то при составлении ранжированного списка не было возможности разделить различные страницы одного и того же ресурса.
В итоге расчет средних рангов проводился на 74 279 запросах (~71% от общего числа запросов в контрольной группе). Средний ранг выбранных ресурсов в выдаче поискового сервиса составил 3,6. Значение среднего ранга в списках, ранжированных по индексам персональных соответствий, получилось 2,9. То есть показатель улучшился на ~19,4%, что для контрольной группы в целом (с учетом пользователей, для которых не был сформирован профиль) дало результат ~16,1%.
Интерпретация результатов
Результаты эксперимента показали, что применение технологии персонализации в области информационного поиска повышает релевантность поисковой выдачи, о чем опосредованно можно судить по уменьшению ранга ресурса, выбранного пользователем. В нашем случае эффективность в контрольной группе повысилась на ~16,1%.
Мы вполне реалистично смотрим на полученный результат. Так, например, имея больше данных по пользовательской активности (конкретно – временные параметры), не пришлось бы отсеивать все запросы, где пользователь выбрал ресурсы в ранговой последовательности, а лишь часть – у пользователей с шаблонным поисковым поведением. Это, несомненно, снизило бы итоговый результат. С другой стороны, если бы мы располагали бóльшими производительными ресурсами, то могли бы анализировать конкретные страницы в поисковой выдаче, а не ресурсы в целом. Это несколько увеличило бы эффективность, так как позволило бы учесть ряд факторов, которые, по нашему мнению, важны при выборе источника информации (уникальность информации, стиль изложения и др.).
По нашему мнению, предлагаемая технология персонализации для поисковых сервисов имеет ряд преимуществ, призванных оптимизировать работу поисковых сервисов. Во-первых, построение модели психики пользователя обеспечивает высокую степень прогностичности данного подхода. Во-вторых, часть операций могут быть выведены в оффлайн режим, что позволяет оптимально распределить ресурсы и снизить нагрузку в периоды онлайн активности, например, определение выраженности шкал у ресурсов и/или отдельных страниц.
В случае пользователей со стереотипным восприятием ранжированной информации применение данного подхода не скажется на релевантности выдачи непосредственно (с персонализированным поиском или без него такие пользователи просматривают ресурсы согласно ранговой последовательности). Однако, если предположить, что такие пользователи прекращают / изменяют поисковую активность, когда найден ресурс, отвечающий их ожиданиям, то использование персональных предпочтений позволит «поднять» данный ресурс выше в поисковой выдаче, тем самым формируя положительный опыт взаимодействия с поисковым сервисом.
Статья написана в соавторстве: Лепихов Сергей, Головань Александр.
Целью данной технологии является создание для пользователя персонального комфортного пространства в сети интернет вообще, и положительного опыта взаимодействия с поисковым сервисом в частности. Как следствие, поисковые сервисы получают инструментарий для оптимизации использования своих ресурсов.
В настоящее время по каждому информационному запросу пользователя поисковая система находит тысячи ресурсов. Как определить, какие именно ресурсы заинтересуют пользователя, чтоб присвоить им более высокий ранг среди всех других? Решение проблемы релевантности выдачи по информационному запросу является одной из приоритетных задач для поисковых сервисов и отнюдь не потому, что они хотят сэкономить время пользователя, а ввиду ресурсоемкости процесса. Поскольку существующим ныне системам необходимо периодически производить сканирование и индексацию всех страниц в интернете, определять их популярность с привязкой к поисковым запросам пользователей, хранить информацию обо всех запросах всех пользователей, чтоб иногда обращаться к истории запросов, то вопрос оптимизации использования ресурса становится весьма актуальным.
Одним из вариантов оптимизации является персонализированный поиск, призванный избавить пользователя от необходимости тратить время на перелистывание страниц выдачи, а сервис — от «подтягивания» все новых и новых страниц.
До недавнего времени персональный поиск использовал некие данные о пользователе (будь то кратковременная или долговременная поисковая история, интересы или что-либо другое) для повышения релевантности выдачи или не использовал таковых.
Данная технология является универсальной для применения в различных сферах интернет деятельности, объединенных двумя понятиями «человек – цифровая информация». Сюда можно отнести рекомендательные системы, рекламу, информационный поиск и др.
Описываемая технология персонализации базируется на 2 основных принципах. Первый – потребности человека определяют вектор его активности (другими словами – поведение) осознаваемый или неосознаваемый. Исключение составляют некоторые психические расстройства, но мы их не будем учитывать. Второй принцип – реактивность психики, то есть, при воздействии стимула психика выдает некую определенную реакцию на него.
Применительно к поведению человека в сети интернет указанные принципы образуют цепочку – «поиск актуальной информации – потребление информации». (Необходимо отметить, первое — в данном случае слово «актуальный» отражает ситуационность явления. У человека имеется ряд потребностей, актуализация одной или нескольких из которых и задают ситуационный вектор поведения; второе – даже если человек заходит в интернет для общения, то это не меняет сути – происходит удовлетворение определенной потребности, а само общение выступает в качестве способа достижения результата). Иными словами, пользователь целенаправленно производит интернет серфинг (последовательность переходов от страницы к странице, а по сути – поиск), а психика на каждую единицу контента выдает реакцию – положительную (подходит) или отрицательную (не подходит). В случае положительной реакции серфинг прерывается и происходит «потребление контента».
Изначально проблема персонализированного поиска лежит на стыке двух областей науки – психологии и информационных технологий. В данном случае психология должна ответить на вопросы – какие именно элементы контента и как необходимо учитывать при формировании выдачи на информационный запрос, чтоб выдачу можно было назвать персонализированной, то есть удовлетворяющей потребности персонально этого пользователя. Информационные технологии в свою очередь должны обеспечить инструментарий (алгоритмы) для выделения и интерпретации этих элементов.
Предлагаемый подход заключается в построении модели психики пользователя, которая позволит с высокой долей вероятности прогнозировать реакцию пользователя на предлагаемую ему единицу контента. (В данном случае под «высокой долей вероятности» понимается вероятность равная или превышающая 80%).
Построение модели психики конкретного пользователя осуществляется по следующему алгоритму:
1) Регистрация реакции пользователя на единицу контента. В качестве положительной реакции учитывается как факт клика на ссылку (или указание ресурса в адресной строке браузера самим пользователем), так и время нахождения на странице.
2) Выделение в ссылке и ее описании (если был переход по ссылке) или в тематике ресурса (если имело место использование адресной строки браузера) смысловых единиц (под «смысловыми единицами» здесь и далее понимаются некие идеи), на которые могла среагировать психика пользователя. С этой целью была разработана семантическая сеть, которая описывает связь между определенными феноменами внешнего мира и их отражением во внутреннем (психическом) плане человека вплоть до выявления врожденных или сформированных в процессе онтогенеза личностных характеристик, определяющих именно такой вариант отражения.
3) Построение модели, которая содержит не только категории, которые определяются непосредственно реакцией на те или иные элементы контента, но и, в основном, связанные с ними глубинные характеристики личности (врожденные, приобретенные в процессе онтогенеза), но и [категории] относящиеся к актуальному культурально-информационному пространству (принимаемые социальные нормы, принадлежность к тому или иному социальному классу и др.).
Однако, как оказалось на практике, использование модели психики в таком виде для решения прикладных задач оказалось затруднительным. Поэтому было предложено формировать профиль пользователя, который будет содержать некоторое количество характеристик пользователя, отражающие его реакции на ограниченное число смысловых единиц, значимых для поискового поведения. Профиль пользователя представляет собой упрощенную версию модели психики, которую легко применять для решения прикладных задач.
Проанализировав с помощью экспертного метода запросы в поисковой активности пользователей, предоставленные компанией Яндекс в свободный доступ (ввиду проведения соревнования), удалось выделить 9 основных групп запросов, такие как — запрос на инструкцию, получение в интернете, выбор и др.
Анализ учитывал «идею» запроса, игнорируя форму выражения данной идеи.
Для каждой из групп экспертным методом был составлен глоссарий. Слова в глоссариях различных групп запросов не пересекались. Используя данный глоссарий, можно в автоматическом режиме определять группу по ключевым словам запроса.
Также для каждой из групп экспертным методом была разработана специфическая система шкал. Данные шкалы отражают инвариантность значимых характеристик информации, которая будет содержаться в ответах на запросы, отнесенные к данной группе. Например, для группы «Запрос на инструкцию» были определены следующие шкалы: уровень интеллекта, теория-практика, поверхностность-углубленность, образность, хаотичность-структурность и другие. Разные группы включают разное количество шкал.
У каждого пользователя ввиду личностных особенностей формируются специфические для него ожидания от ответа на запрос, то есть, каждый пользователь «ожидает» получить информацию с определенным набором характеристик. Пример для запроса о смартфоне-новинке — если подобный запрос делает молодая девушка, то она, с большой вероятностью, ожидает увидеть в выдаче ресурсы с большим количеством фотографий, чтобы оценить дизайн, цветовую гамму и др., так как для нее смартфон – это модный аксессуар. Если данный запрос делает гик, то он будет ожидать информацию технического плана, чтоб оценить возможности новинки и сравнить с аналогами, если таковые существуют.
Исключение составляют ситуации использования поисковой системы как аналога калькулятора, логарифмической линейки или любого другого устройства, вывод информации в котором максимально унифицирован в плане интерпретации и производится обычно в виде символов (цифр и/или условных знаков).
Опираясь на вышеизложенное, хотим подчеркнуть 2 момента: первый – шкалы отражают характеристики информации; второй – личностные особенности пользователя определяют его ожидания.
Следовательно, персональный поиск, по сути, сводится к определению ожиданий конкретного пользователя и предложению ему информации обладающей необходимыми характеристиками. Эта процедура никак не затрагивает предмет поиска.
Предлагаемая технология персонализации с одной стороны позволяет с большой вероятностью определить ожидания конкретного пользователя. Для этой цели анализируется история запросов пользователя и формируется его профиль, где будут отражаться все значимые для данного пользователя шкалы по каждой группе запросов. С другой стороны технология предлагает инструментарий для определения характеристик информации.
Как формирование начального профиля пользователя и последующие его перерасчеты, так и определение характеристик информации могут производиться в оффлайн режиме, что позволит свести операции в режиме реального времени к расчету текущего индекса [необходимой] группы запросов в профиле пользователя и ранжирования ресурсов согласно максимальному соответствию рассчитанному индексу.
Для оценки возможности использования предлагаемой технологии для целей персонализированного поиска был проведен эксперимент. В качестве рабочей гипотезы было выбрано предположение, что применение данной технологии персонализации в поисковом сервисе повышает релевантность выдачи по информационному запросу, а значит, ранг выбранного пользователем ресурса будет меньше.
Описание выборки
Эксперимент проводился на выборке данных, предоставленной в открытый доступ компанией Яндекс в рамках проведения открытого соревнования по персонализированному сетевому поиску (Personalized Wed Search Challenge). Данная «база» содержала информацию о поисковой активности ~ 41тыс. пользователей за период 60 дней. Предлагались следующие данные:
— ID пользователя
— ID запроса
— текст поискового запроса пользователя
— унифицированный текст запроса поисковой системы
— список ресурсов на первой странице выдачи (или первые 10 ресурсов) и соответствующий ранг
— ранг ресурса, на который кликнул пользователь
Ввиду ограниченности производительных мощностей выборка была уменьшена выборку до 4 500чел., отобранных системой случайным образом.
В итоге параметры выборки были следующие:
— кол-во пользователей – 4 500 чел.
— учетный период активности – 60 дней (с 19-09-13 по 17-11-13)
— общее кол-во запросов – 1 104 347
Описание эксперимента
В качестве метода для проведения эксперимента был выбран модифицированный А/В тест. Модификация заключалась в том, что деление на экспериментальную и контрольную группу осуществлялось не среди субъектов, а среди объектов. Другими словами разделению на группы подверглась поисковая активность пользователей, а не сами пользователи. Это было обусловлено тем, что данный подход подразумевает формирование для каждого пользователя профиля с его личностными характеристиками.
На 1-м этапе эксперимента система проводила категоризацию запросов, то есть отнесение к одной из вышеупомянутых 9 групп.
В выборке выделенные группы перекрыли 48,7% (538 441) всех запросов. В оставшиеся 51,3% (565 906) вошли запросы, которые система не смогла идентифицировать из-за грамматических ошибок, использования транслитерации, использования слов, которые не вошли ни в один из глоссариев.
На 2-м этапе происходила оценка возможности формирования персонального профиля для пользователей выборки. Так как для формирования функционального профиля в рамках предлагаемого подхода существует нижний предел пользовательской поисковой активности (в нашем случае 40 запросов), то система отбросила пользователей, не удовлетворяющих данному критерию, и их запросы. В итоге выборка уменьшилась до 3 826чел. с общим числом запросов – 523 007.
Данный этап обусловлен исключительно ограниченностью данных. У поисковых сервисов указанной проблемы не должно существовать.
На 3-м этапе происходило разделение запросов на экспериментальную и контрольную группу.
Было решено разбить на группы в соотношение 80:20, то есть 80% активности каждого пользователя попадают в экспериментальную группу, 20% — в контрольную.
В итоге в экспериментальной группе получилось 418 406 запросов, а в контрольной – 104 601.
На 4-м этапе запросы из экспериментальной группы (418 406 запросов) были обработаны системой по схеме: определение группы запроса -> оценка выраженности значимых шкал для ресурса, выбранного пользователем.
Определение группы запроса осуществлялось путем сравнения ключевых слов запроса с глоссариями групп запросов. Затем система определяла значимые шкалы для данной группы запросов и оценивала их выраженность. Мы не можем раскрыть принципы и механизм оценки выраженности, поскольку данная информация является коммерческой тайной, однако можем сказать, что они доступны машинному обучению.
По результатам обработки запросов в экспериментальной группе происходило формирование профилей пользователей. В профиле для каждой из групп запросов указывались наименования значимых для данного пользователя шкал и расчетные коэффициенты (уровень приоритетности шкалы для пользователя).
Следует отметить, что ввиду ограниченности расчетных мощностей система обрабатывала ресурсы в целом, а не конкретные страницы ресурсов, выбранные пользователями. Например, если пользователь выбирал slovo.ws/resh/007, то система анализировала slovo.ws. Данный факт, во-первых, привел к тому, что из обработки выпали все агрегаторы контента, такие как, социальные сети, Youtube и т.п., по причине широкого разнообразия контента на них; во-вторых, это не могло не сказаться на результатах эксперимента в сторону их ухудшения.
На 5-м этапе запросы из контрольной группы (104 601 запрос) обрабатывались системой по схеме: определение группы запроса -> определение выраженности значимых шкал -> расчет индекса соответствия персональному профилю -> ранжирование ресурсов в поисковой выдаче по индексу соответствия -> определение ранга ресурса, выбранного пользователем.
Определение группы запроса осуществлялось, как и на предыдущем этапе, путем сравнения ключевых слов запроса с глоссариями групп запросов. Затем система определяла значимые шкалы для данной группы запросов и оценивала их выраженность. После этого происходил расчет индекса соответствия для каждого ресурса из поисковой выдачи (первых 10 ресурсов). Данный индекс отражал насколько сами шкалы и их выраженность у ресурса в выдаче соответствуют значимым для пользователя шкалам для данной группы запросов в его персональном профиле. На основе рассчитанных индексов соответствия система составляла ранжированный список ресурсов в поисковой выдаче и определяла ранг ресурса, выбранного пользователем.
На заключительном этапе имел место анализ запросов по критерию информативности. После отсеивания неинформативных запросов происходило вычисление и сравнение средних рангов выбранных ресурсов в выдаче поискового сервиса и в списках, ранжированных по индексам персональных соответствий.
При анализе запросов относительно их информативности были отсеяны следующие:
а) запросы, когда пользователь выбирал ресурсы в поисковой выдаче строго в ранговой последовательности, например, (ранги ресурсов) 1*; 1, 2; 1, 2, 3; 1, 2, 3, 4; 1, 2, 3, 4, 5 и т.д., — поскольку, как мы считаем, подобное поведение не отражает персональных предпочтений, а скорее является следствием стереотипизации восприятия ранжированной информации – от наиболее значимой (сверху) к менее значимой (ниже по списку). Можно было бы допустить, что в подобном случае последний ресурс является наиболее релевантным для пользователя (после ознакомления с ним пользователь прекратил / изменил поисковую активность по данному запросу). В таком случае необходимо было анализировать (сравнивать) следующие временные параметры, — время между предъявлением поисковой выдачи и первым выбором пользователя, время взаимодействия с контентом, время следующего запроса — и параметры уникальности контента, — наличие непересекающейся информации, стиль изложения и др. Указанный анализ нами не проводился, так как временных параметров в базе данных, предоставленной поисковым сервисом в открытый доступ, не было, а анализ уникальности контента хоть и требовал значительных расчетных ресурсов, но был бесполезен без временных данных.
* — для определения того, что пользователь выбрал ресурс №1 из-за соответствия своим ожиданиям (то есть выбор определили персональные характеристики пользователя), а не потому, что это шаблонное действие, необходимо анализировать время между предъявлением поисковой выдачи и кликом на ссылку. Временной промежуток должен быть достаточным для сравнения параметров ресурса №1 (формулировка фразы-ссылки, содержание сниппета, адрес ресурса) с соответствующими параметрами минимум следующего в списке ресурса №2. Как указывалось выше, временных параметров в базе данных, предоставленной поисковым сервисом, не было.
Наличие у поисковых сервисов полной информации по истории запросов может быть использовано для определения присутствия в поисковом поведении пользователя шаблонных действий и последующей оптимизации применения технологии персонального поиска.
б) запросы, если хотя бы у одного из ресурсов в соответствующей поисковой выдаче отсутствовал индекс соответствия. Несмотря на то, что отсутствие индекса не могло повысить эффективность применения предлагаемого подхода, так как помещало ресурсы вниз списка, однако, предметом анализа должны были выступать выборы, определенные персональными характеристиками пользователей, а не несовершенством аппаратуры.
в) запросы, где в поисковой выдаче были ссылки на разные страницы одного ресурса. Так как система анализировала не конкретные страницы, а ресурсы в целом, то при составлении ранжированного списка не было возможности разделить различные страницы одного и того же ресурса.
В итоге расчет средних рангов проводился на 74 279 запросах (~71% от общего числа запросов в контрольной группе). Средний ранг выбранных ресурсов в выдаче поискового сервиса составил 3,6. Значение среднего ранга в списках, ранжированных по индексам персональных соответствий, получилось 2,9. То есть показатель улучшился на ~19,4%, что для контрольной группы в целом (с учетом пользователей, для которых не был сформирован профиль) дало результат ~16,1%.
Интерпретация результатов
Результаты эксперимента показали, что применение технологии персонализации в области информационного поиска повышает релевантность поисковой выдачи, о чем опосредованно можно судить по уменьшению ранга ресурса, выбранного пользователем. В нашем случае эффективность в контрольной группе повысилась на ~16,1%.
Мы вполне реалистично смотрим на полученный результат. Так, например, имея больше данных по пользовательской активности (конкретно – временные параметры), не пришлось бы отсеивать все запросы, где пользователь выбрал ресурсы в ранговой последовательности, а лишь часть – у пользователей с шаблонным поисковым поведением. Это, несомненно, снизило бы итоговый результат. С другой стороны, если бы мы располагали бóльшими производительными ресурсами, то могли бы анализировать конкретные страницы в поисковой выдаче, а не ресурсы в целом. Это несколько увеличило бы эффективность, так как позволило бы учесть ряд факторов, которые, по нашему мнению, важны при выборе источника информации (уникальность информации, стиль изложения и др.).
По нашему мнению, предлагаемая технология персонализации для поисковых сервисов имеет ряд преимуществ, призванных оптимизировать работу поисковых сервисов. Во-первых, построение модели психики пользователя обеспечивает высокую степень прогностичности данного подхода. Во-вторых, часть операций могут быть выведены в оффлайн режим, что позволяет оптимально распределить ресурсы и снизить нагрузку в периоды онлайн активности, например, определение выраженности шкал у ресурсов и/или отдельных страниц.
В случае пользователей со стереотипным восприятием ранжированной информации применение данного подхода не скажется на релевантности выдачи непосредственно (с персонализированным поиском или без него такие пользователи просматривают ресурсы согласно ранговой последовательности). Однако, если предположить, что такие пользователи прекращают / изменяют поисковую активность, когда найден ресурс, отвечающий их ожиданиям, то использование персональных предпочтений позволит «поднять» данный ресурс выше в поисковой выдаче, тем самым формируя положительный опыт взаимодействия с поисковым сервисом.
Статья написана в соавторстве: Лепихов Сергей, Головань Александр.
