Pull to refresh
  • by relevance
  • by date
  • by rating

Пишем простую систему рекомендаций на примере Хабра

Data Mining

Сегодня мы поговорим о рекомендательных системах, а точнее о самой простой форме коллаборативной фильтрации. В программе передач: что такое рекомендательная система, на чем основана, каков математический аппарат и как её можно воплотить в код. В качестве бонуса предоставим результаты в виде простого сервиса.

  1. Что такое рекомендательная система
  2. Интуиция
  3. Теория
  4. Реализация: код и данные
  5. Сервис Хабра-рекомендаций
  6. Хабра-аналитика

Читать дальше →
Total votes 28: ↑24 and ↓4 +20
Views32.7K
Comments 16

Эволюция списка рекомендаций в SmartProgress

SmartProgress corporate blogData MiningBig Data
Выборка наиболее интересного пользовательского контента для пользователей — актуальная задача для многих проектов, и мы не исключение. В этой статье я хочу рассказать про то как мы решали эту задачу с момента старта проекта и до сегодняшнего дня на примере списка целей в SmartProgress.



Читать дальше →
Total votes 18: ↑17 and ↓1 +16
Views5.3K
Comments 4

Рекомендательные системы в онлайн-образовании

Stepik.org corporate blogResearch and forecasts in ITStudying in IT
28 апреля 2016 года мы официально объявили о запуске первого адаптивного курса на Stepic.org, который подбирает задачи по Python в зависимости от уровня учащегося. До этого мы ещё реализовали на платформе рекомендованные уроки, чтоб учащиеся как не забывали, что они уже прошли, так и открывали для себя новые темы, которые могут их заинтересовать.

Этой статьёй мы начинаем цикл о рекомендательных системах и адаптивном обучении.

Под катом две основные темы:
  • про онлайн-образование, плюсы/минусы/подводные камни;
  • классификация рекомендательных систем, их применимость в образовании, примеры.



Читать дальше →
Total votes 16: ↑14 and ↓2 +12
Views13.7K
Comments 4

Рекомендательные системы в онлайн-образовании. Продолжение

Stepik.org corporate blogSystem Analysis and DesignAlgorithmsMathematicsMachine learning

Мы продолжаем рассказывать о системе адаптивного обучения на Stepic.org. Первую вводную часть этой серии можно почитать здесь.


В данной статье мы расскажем о построении рекомендательной системы (которая и лежит в основе адаптивности). Расскажем о сборе и обработке пользовательских данных, о графах переходов, хендлерах, оценке реакции пользователя, формировании выдачи.


Вспомним про линейную регрессию, регуляризацию и даже поймём, почему в нашем случае лучше использовать гребневую регрессию, а не какую-нибудь там ещё.



Ну, поехали
Total votes 21: ↑20 and ↓1 +19
Views9K
Comments 5

Глобальный конкурс задач Stepik Contest

Stepik.org corporate blogHackathonResearch and forecasts in ITStudying in IT
Образовательная платформа Stepik объявляет о старте конкурса по созданию IT-задач. Результатом Stepik Contest станет уникальная система онлайн-обучения, основанная на персональных рекомендациях учащимся. Победители конкурса получат денежные призы до $10K.


Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views5.9K
Comments 6

Дедлайн конкурса Stepik Contest продлен до 31 марта, самое время создавать IT-задачи

Stepik.org corporate blogEntertaining tasksPythonJavaScriptJava
Новогодние праздники и январь прошли очень быстро и вместо большого количества курсов для конкурса Stepik Contest команда Stepik получила множество запросов с просьбами продлить дедлайн. Мы решили продлить срок конкурса до 31 марта, а сейчас — подвести промежуточные итоги, ответить на вопросы и разъяснить все неочевидные моменты конкурса.

Итак, конкурс Stepik Contest, дедлайн 31 марта, чтобы выиграть от $2K до $10K, нужно создать 20+ задач по темам IT на платформе Stepik (adaptive.stepik.org).


Подробности про конкурс
Total votes 18: ↑17 and ↓1 +16
Views4.3K
Comments 8

MVP системы рекомендаций для GitHub за неделю

Data MiningMongoDBBig DataGitHubMachine learning
Translation

logo Напомним на всякий случай, если кто-то забыл, что GitHub – это одна из крупнейших платформ для разработки программного обеспечения и дом для многих популярных проектов с открытым исходным кодом. На страничке «Explore» GitHub вы можете найти информацию о проектах, которые набирают популярность, проектах, понравившихся людям, на которых вы подписаны, а также популярные проекты, объединенные по направлениям или языкам программирования.


Чего вы не найдете, так это персональных рекомендаций проектов, основанных на вашей активности. Это несколько удивляет, поскольку пользователи ставят огромное количество звезд различным проектам ежедневно, и это информация может быть с легкостью использована для построения рекомендаций.


В этой статье мы делимся нашим опытом построения системы рекомендаций для GitHub от идеи до реализации.

Читать дальше →
Total votes 7: ↑7 and ↓0 +7
Views4.5K
Comments 7

10 материалов RecSys о рекомендательных системах, которые должен прочитать каждый

Retail Rocket corporate blogProfessional literature
Привет, Хабр! Сегодня мы хотим поделиться с сообществом подборкой лучших материалов конференции ACM Recommender Systems (RecSys), которые обязательно нужно прочитать каждому специалисту, который занимается рекомендательными системами.


Читать дальше →
Total votes 3: ↑3 and ↓0 +3
Views2.6K
Comments 0

Как обмен данными влияет на качество рекомендаций

Retail Rocket corporate blogBig DataData storage
Привет, Хабр!

Мы уделяем особенное внимание проверке интеграции при подключении нового клиента к платформе и постоянно отслеживаем статус интеграции в процессе работы. Почему это критически важно? Потому что сбор данных — основа формирования качественных рекомендаций.



Работа рекомендательной системы строится на нескольких важных составляющих: сбор данных, их хранение, обработка, выдача рекомендаций и growth hacking. Плюс «железо» для обеспечения вычислительных мощностей алгоритмов и процесс верстки. Таким образом мы получаем как минимум 7 пунктов, от которых зависит качество рекомендаций, не говоря уже о дорогой команде аналитиков. Как внешний сервис, так и внутренняя система рекомендаций интернет-магазина, должны охватывать все эти пункты и качественно обеспечивать работу на всех этапах.
Читать дальше →
Total votes 9: ↑8 and ↓1 +7
Views2.5K
Comments 0

Опыт персонализации интернет-магазина на примере динамической рекомендации

Abnormal programmingData MiningMongoDBDevelopment for e-commerceMachine learning
Привет, Хабр!

Поделюсь опытом о том, как собрали собственную систему персонализации на базе «знаний» о потенциальном покупателе.

image

Единственное чем отличалось наше решение от классических — это использование комбинированной связки ряда решений и удовлетворял списку требований:

  • сервис должен был работать сразу на N сайтах
  • динамическая сегментация аудитории
  • Коллаборативная фильтрация для целей прогнозирования в разных состояниях сегментов аудитории
  • предварительно сгенеренная статика в виде рекомендованного контента + динамический подмес товаров на основе анализа кликстрима
  • изменение контента, практически в реал-тайме, из оперативной памяти, с учетом динамических коэффициентов

Об этом подробнее :) И о тех граблях, которые помогали нам меняться стек в лучшую сторону.
Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views2.6K
Comments 4

ок.tech Data Толк #3: Рекомендательные системы

Одноклассники corporate blogData MiningBig DataMachine learningArtificial Intelligence


6 ноября в московском офисе компании Одноклассники состоится ок.tech Data Толк #3, в этот раз мы решили посвятить мероприятие рекомендательным системам. Вместе с коллегами из OK.ru, Joom и СколТеха поговорим про прошедший RecSys19, а также о теории, практике и трендах рекомендательных систем. Влад Грозин сделает обзор культовой конференции RecSys19. Евгений Фролов расскажет один из докладов о HybridSVD, которую используют для построения гибридных рекомендательных систем. Затем перейдем от теории к практике, и Андрей Кузнецов поделится практическим опытом улучшения рекомендательных систем для групп Одноклассников. Как всегда, после докладов будет дискуссия, где каждый сможет задать любой вопрос спикерам. Вести мероприятие будет Алексей Чернобровов.

Ждем всех, кому интересна тема создания, улучшения и эксплуатации рекомендательных систем.

Зарегистрироваться на мероприятие.
Читать дальше →
Total votes 11: ↑11 and ↓0 +11
Views1.2K
Comments 0

ок.tech Data Толк #3: мини-интервью спикеров

Одноклассники corporate blogData MiningBig DataMachine learningArtificial Intelligence


Проект ок.tech Data Толк родился как дискуссионная площадка для специалистов, занимающихся обработкой и аналитикой больших данных. Каждый раз мы подчеркиваем, что основная задача наших митапов – это не доклады, хотя они тоже очень важны, а открытая дискуссия аудитории со спикерами, во время которой у участников есть время обсудить любые вопросы в рамках тематики мероприятия. Мы считаем, что в сложившейся ситуации когда количество проблем и нерешенных задач в области Data Science стремительно растет, открытый диалог очень важен.

Мы провели 2 встречи, на первой обсуждали достоинства и недостатки разных подходов к хранению данных и то, как эти подходы влияют на работу разных команд, а также коснулись вопросов эволюции хранилищ данных. Вторая встреча была посвящена образованию в Data Science, на площадке встретились представители разных мнений, спикеры поговорили о важности университетского образования, разнообразии онлайн-курсов и их особенностях, а также о том, какими навыками необходимо обладать, чтобы стать крутым и востребованным датасаентистом.

В преддверии третьего митапа, который пройдет 6 ноября в Москве и будет посвящен рекомендательным системам, мы поговорили со спикерами об их пути в разработку рекомендательных систем, о том как им видится их будущее этого направления и попросили порекомендовать, что надо делать сейчас, чтобы знания и умения оставались актуальными даже через несколько лет. Также мы поинтересовались, о чем они будут рассказывать на митапе и почему стоит посетить это мероприятие.

Зарегистрироваться на Data Толк #3
Читать дальше →
Total votes 21: ↑21 and ↓0 +21
Views980
Comments 0

Как мы кратно улучшили качество рекомендаций в оффлайн ритейле

PythonData MiningBig DataMachine learningData Engineering
🔥 Technotext 2020

Всем привет! Меня зовут Саша, я CTO & Co-Founder в LoyaltyLab. Два года назад я с друзьями, как и все бедные студенты, ходил вечером за пивом в ближайший магазин у дома. Нас очень расстраивало, что ритейлер, зная, что мы придём за пивом, не предлагает скидку на чипсы или сухарики, хотя это так логично! Мы не поняли, почему такая ситуация происходит и решили сделать свою компанию. Ну и как бонус выписывать себе скидки каждую пятницу на те самые чипсы.


image


И дошло всё до того, что с материалом по технической стороне продукта я выступаю на NVIDIA GTC. Мы рады делиться наработками с коммьюнити, поэтому я выкладываю свой доклад в виде статьи.

Читать дальше →
Total votes 13: ↑12 and ↓1 +11
Views3.9K
Comments 5

Рекомендации с обоснованием (2020). Часть первая

Data MiningAlgorithmsBig DataMachine learning
Sandbox

Здравствуйте, уважаемая аудитория! Предлагаю вашему вниманию первую часть перевода большой обзорной статьи на тему рекомендательных систем, а именно - одной из ее областей, рекомендаций с обоснованием.

С работой алгоритмов рекомендаций большинство пользователей сталкивается ежедневно - в соцсетях, при походах в магазин, выборе товаров в онлайн-магазинах, при поиске информации. Рекомендации с обоснованием не только предлагают вариант выбора, но также объясняют, почему именно этот вариант подходит пользователю лучше остальных. C этой точки зрения проблема рекомендаций с обоснованием также затрагивает исследование поведения пользователей и процессов принятия решений.

В статье проблема обоснований в рекомендательных системах рассматривается с нескольких точек зрения, анализируются открытые проблемы и задачи в данной области и затрагивается тема обоснований в глубоком обучении и ИИ в целом.

Статья может быть интересна всем, кто желает составить целостное и подробное представление о истории развития рекомендательных систем, методах, которые в них применяются, методах оценки моделей с обоснованием и посмотреть на примеры использования рекомендаций с обоснованием в приложениях.

Читать далее
Total votes 6: ↑5 and ↓1 +4
Views1.7K
Comments 0