Каждая почтовая система сталкивается со спамом, Hotmail не является исключением. Наше оружие против него – спам-фильтр SmartScreen — является одним из самых эффективных в индустрии. Этот пост даст вам представление о том, как мы используем SmartScreen для борьбы с угрозой, которая называется спамом, и о том, как вы можете в этом нам помочь.

Spam is war

Зачем люди шлют спам? Все просто, это приносит деньги. Спам – это большой, очень большой бизнес, большая часть которого незаконна, но это не останавливает людей от его рассылки.

Поверьте мне, спам это битва. Спамеры очень умны, они никогда не исчезнут. Они постоянно изобретают все новые и новые способы эксплуатации нашей почты в своих целях. Но мы не сдаемся.

Различные исследования, включая ежемесячный отчет Symantec о спаме, показывают, что более 90% всех электронных писем, пересылаемых через интернет, являются спамом. Как результат, письма, отправляемые в Hotmail, как и другим почтовым провайдерам, в большинстве своем – спам. С активной пользовательской базой в 350 миллионов пользователей, Hotmail является крупной мишенью. В результате мы получаем несколько миллиардов спамерских сообщений в день.

Но Hotmail удаляет 98% всего спама, прежде чем он может достичь вашего ящика. Давайте поговорим о том, как мы этого достигаем, и как стремимся это улучшить.

Знай врага

Для начала давайте дадим некоторые определения. Спам — широко используемый термин для обозначения нежелательной коммерческой электронной почты, отправленной без законных оснований большому количеству адресатов. Никто не хочет, чтобы ему приходил спам.

Нужно заметить, что не вся нежелательная почта является спамом. К примеру, вы получаете новостные рассылки или предложения о покупке в результате регистрации на вполне легальном и добросовестном сайте. Вы можете хотеть или не хотеть видеть их в своем ящике, но эти письма будут законными, вы же сами на них подписались! Такие письма мы называем серыми, потому что не ясно, хотите ли вы их видеть у себя в почте или нет, эти письма и не «белые» и не «черные», отсюда и название (от переводчика: вдогонку к комментарию, видимо по этому в пользовательских интерфейсах почтовых программ и сервисов Майкрософта, нигде нету слова спам, есть Junk и Нежелательная почта).

Наша цель устранить спам настолько, насколько это возможно. Но мы должны избегать ошибочной отметки хороших писем как спам. Данный тип ошибок мы называем ложным срабатыванием.

Таким образом, это настоящий трюк – ликвидация спама настолько, насколько это возможно, в идеале всего, при сведении до минимума числа ложных срабатываний, в идеале ни одного. В каком-то смысле эти две цели противоречат друг другу.

Все это в цифрах

Общепринятая инженерная мудрость гласит: то что мы не можем измерить, мы не можем и улучшить.

В Hotmail мы отслеживаем несколько очень схожих показателей. Каждый день мы следим за показателем SITI(“spam in the inbox”), а также следим за тем, какой процент от SITI занимает труЪ спам, исключая серые письма. Так же мы следим за тем, как часто мы ошибаемся, помещая нормальные письма в папку «Нежелательная почта».

В дополнение к автоматизированным средствам измерения нашей работы, мы используем обратную связь получаемую от клиентов. Если вы заметили у себя во входящих письмо, которое по вашему мнению является спамом, вы можете отметить его как нежелательное. Соответственно, если в папку «Нежелательная почта» попало, по вашему мнению, совершенно нормальное письмо, вы можете его отметить как не являющееся нежелательным или просто перетащть письмо из этой папки.

Большинство писем, порядка 75%, помеченные пользователями как нежелательные, на самом деле являются серыми, т.е. легальными письмами, но которые пользователи не хотят видеть у себя в почте, и поэтому помечают их как нежелательные. Хороший пример серых писем — новостные рассылки или уведомления, на которые вы подписались, делая покупки на сайте, но которые на самом деле вам не интересны.

Итак, что же мы делаем? Давайте вернемся в 2006 год, когда у нас были некоторые проблемы со спамом. Доля труЪ спама приближалась к 35%, это значит, что каждое третье письмо в вашем ящике было спамом. С тех пор мы совершили гигантский прогресс, опустив долю спама ниже 5% и удерживая ее на этом уровне. Следующий график отображает тенденцию количества спама за последние несколько лет во всем интернете, а так же в Hotmail. Зелеными треугольниками на графике Hotmail’a отмечены введения новых технологий борьбы со спамом.



Вы можете видеть, что в то время, когда доля спама во всем интернете росла, инвестиции, сделанные в Hotmail, себя реально оправдывали. Сейчас мы наблюдаем не только исторической минимум доли спама, но и лучший показатель ложных срабатываний.

SmartScreen: наше оружие против спама

Мы достигли таких результатов, производя огромные инвестиции в нашу технологию SmartScreen. Давайте поговорим о некоторых ее составных частях.

Фильтрация в момент соединения (Connection-time filtering). Это наша первая «оборонительная линия». В любой момент времени, наша система имеет представление о репутации почтовых отправителей во всем мире, а так же последних тенденциях в содержимом писем, основываясь на различных источниках. Репутация отправителя в большинстве своем связана с IP-адресом или диапазоном адресов. Основываясь на этих данные, мы устанавливаем лимит сообщений, которые может доставить в Hotmail определенный отправитель. Установка этого значения в ноль позволяет заблокировать все почтовые адреса данного отправителя. Для хороших писем мы установили предел таким образом, чтобы это не препятствовало нормальному получению писем, одновременно сводя к минимуму потенциальную возможность злоупотребления адресом отправителя в случае взлома его компьютера. Мы используем несколько источников для оценки репутации отправителя:

• IP-адреса ботов (IPs of Bots). Мы отслеживаем отдельные компьютеры, которые использовались для рассылки спама. Часто это компьютеры, зараженные вредоносным ПО и являющиеся частью ботнета
• Динамические IP-адреса (Dynamic IPs). Мы знаем, что компьютеры с динамически получаемыми IP не должны рассылать почту, поэтому мы сразу блокируем почту, рассылаемую с таких компьютеров.
• Известные спамерские сети (Known spam entities). Мы используем дополнительную информацию, такую как автономная система номеров и регистрацию IP-адресов, что бы отследить диапазоны адресов, которые использовались для рассылки спама
• Сторонние источники (Third-party sources). Мы договорились с третьими сторонами, использовать лучшее, что есть в индустрии.
• Фильтры содержимого (Content filters). У нас есть множество фильтров, через которые мы пропускаем входящую почту, которые анализируя содержимое, могут определить письмо как спам. Это не столь же просто, как поиск по фразе «watch replica». Наша система SmartScreen использует самообучение, чтобы адаптироваться к тенденциям и технологиям применяемым спамерами. Фильтрующая система применяет приспособленные политики, фильтры контента и репутации в зависимости от класса отправителя. Фильтры определяют спам с определенной степенью точности. Когда мы абсолютно уверены в том, что письмо является спамом, мы его удаляем. Иначе помещаем его в папку «Нежелательная почта». Наши контент фильтры удаляют примерно 1 миллиард сообщений в день.
• Ваши персональные настройки (Your preferences). Вы тоже контролируете спам! Вы можете установить у себя черные и белые списки и правила, которые мы будем использовать для дополнительной фильтрации писем.
• Фильтры, путешествующие во времени (Time-traveling filters). Да вы правильно это прочитали. Мы можем путешествовать во времени… Хорошо… Наши фильтры могут. Все довольно просто. Мы не можем всегда узнавать о новом источнике рассылки спама как только он появляется. Но как только мы обнаруживаем спамера, мы можем вернуться в прошлое и удалить этот спам, перед тем как вы его заметите у себя в ящике. Мы называем наш инструмент фильтрами, путешествующими во времени, потому что в некотором смысле мы в состоянии вернутся в прошлое и избавится от спама, даже после того как мы его пропустили! (Конечно, если вы уже заметили этот спам, мы не можем его удалить. Иначе это бы создало парадокс путешествия во времени, который может поломать нам мозг)
• Определение вредоносного ПО (Malware detection). Мы проверяем почтовые вложения на наличие известного вредоносного ПО и вирусов
• Инструменты в пользовательском интерфейсе Hotmail (Tools in the Hotmail UI). Наконец, мы предоставляем мощные спам-инструменты прямо в интерфейс почты. Мы отображаем панель безопасности, всякий раз, когда вы читаете потенциально опасное письмо. Ссылки и изображения по умолчанию отключены для неизвестных и не доверенных отправителей, чтобы защитить вас от плохих ссылок и web beacons. Вы можете нам помочь, помечая плохие письма как нежелательные, или перетаскивая их в папку нежелательная почта. А так же снизить уровень ложных срабатываний, перемещая хорошие письма из папки «Нежелательная почта». Всякий раз, когда вы помечаете письмо как «желательное» или «нежелательное» наша система становится умнее

Чем вы можете нам помочь?

Наша система только часть решения. Мы рассчитываем на пользовательскую обратную связь в борьбе со спамом. Вот несколько способов, которые позволяют сделать нашу систему умнее, а также внести свой вклад состояние почтовой экосистемы:

• Давайте обратную связь, основанную на вашем опыте Существует три способа получения обратной связи. Вы можете помечать письма как «Желательные», «Нежелательные», «Мошеннические», делая таким образом наш фильтр умнее. Помечая некоторые письма как «Не являющееся нежелательными» вы помогаете нам выявить ложные срабатывания, что дает на возможность в будущем не повторять ошибку
• Участвуйте в программе обратной связи. Время от времени мы предлагаем некоторым пользователям принять участие в нашей программе получения обратной связи. Программа работает следующим образом: время от времени мы шлем вам письмо, и спрашиваем вас, является ли оно нежелательным. От того как вы классифицируете данное письмо, зависит настройка наших спам фильтров. Соглашайтесь принять участие в данной программе, если вам предложат
• Ничего не покупайте у спамеров. Очень малое количество людей переходит по ссылкам, указанным в спамерском письмах. Но спамеры делаю деньги из-за очень большого числа отправленных сообщений. Типичный спамер может иметь очень неплохую прибыль, даже если только на 50 писем, из миллиона разосланных, отреагирует пользователь.
• Проверьте компьютер на наличие вредоносных программ. Убедитесь в том, что ваш компьютер сам не является спамботом! Вы можете для этого использовать бесплатные антивирусы, такие как MSE

Взгляд в будущее

За последние несколько лет, команда Hotmail сделала очень важные инвестиции в развитие SmartScreen, чтобы не только решать проблемы спама, но и оказаться лучшими в индустрии почтовых сервисов.
В следующем посте я расскажу немного о проблеме серых писем, загляну глубже в механизмы фильтрации, и дам несколько советов тем, кто до сих пор испытывает проблемы со спамом.

До тех пор я надеюсь, вы продолжите использовать Hotmail и оставите свои отзывы в комментариях.
Dick Craddock
Group Program Manager, Windows Live Hotmail