Как стать автором
Обновить

Сравнительное тестирование 15 антивирусных программ в новом журнале С'T

Время на прочтение 13 мин
Количество просмотров 5.5K
На Security@Interop — событии, совершенно незаслуженно обойденном вниманием многих ИБ-шников, можно было взять пилотный (апрельский) номер журнала C'T-Россия, что я с радостью сделал. Теперь он ходит по рукам всей компании.

Нашлось в C'T очень интересное и вдумчивое сравнительное тестирование 15 антивирусных программ. Руки дошли наконец до «обработки» этого очень «вкусного» контента. Приведу здесь только вводную часть про методологию и выводы. Это-то и есть тот самый будет комплексный анализ, на основании которых в последнее время модно (а теперь и можно) ругать или хвалить продукты разных вендоров.

Считаю, что для команды нового журнала о компьютерной технике проведение настолько комплексного теста — это большая заявка на лидерство, ведь тесты не хуже тех, что проводит Нейл Рубенкинг из PC Magazine USA. Теперь есть что почитать и в России — сделанное своими руками тестирование, человеческим языком описанное и беспристрастно поданное, что вместе является «фишкой» C'T. Настоятельно рекомендуется перенять Сергею Ильину с Anti-Malware.ru.

Понравились мне и слова главреда про аудиторию и миссию журнала (цитата):
Мы не занимаемся ерундой. Мы делаем самый профессиональный компьютерный журнал в России… для тех, кому нужна честная и правдивая информация.

Респект Павлу Шошину, автору обзора, и главреду Андрею Кокоурову, перешедшим из CHIPа. У меня раньше не было такой уверенности в их профессионализме, но, как оказалось, в CHIPе все решал формат «easy reading», на который в последнее время слишком многие СМИ и тестлабы давят.

В общем, дифирамбы журналу я отпел, можно переходить ко чтению. :)


Большая охота

Трояны, шпионское ПО, боты — здесь вроде бы все по-прежнему, но, тем не менее, уже по-другому: каждый час вирусный «зоопарк» антивирусных лабораторий пополняют более тысячи новичков. И судя по результатам тестирования 15 антивирусных программ, все большая часть из них проскальзывает сквозь антивирусную защиту.

Наряду с корифеями антивирусной отрасли наше тестирование прошли и некоторые экзотические программы: Avast Antivirus Pro, AVG Anti-Malware, Avira AntiVir Personal Edition Premium, BitDefender, CA Antivirus Plus, ClamWin, Dr.Web, F-Secure Antivirus, McAfee VirusScan, Microsoft OneCare, и Trend Micro Antivirus + Antispyware.

Основным механизмом обнаружения вредоносных программ по-прежнему остается поиск файлов по известным цепочкам символов. Качество такого сигнатурного распознавания определяется проверкой набора ITW-вирусов (от англ. In The Wild — вирусы, представляющие реальную опасность для пользователей на момент тестирования). Однако такой подход не стал доминирующим хотя бы потому, что в нем совершенно не представлен самый активный на данный момент класс вредоносных программ — трояны. Кроме того, этот перечень вирусов пополняется не так часто, постоянно устаревает, да и сам список, состоящий примерно из 1400 экземпляров, слишком мал. Поэтому ITW-тестирование в данном случае проводилось только ради полноты эксперимента, и его результаты не учитывались при подведении итогов.

Тот факт, что Avast! и «Антивирус Касперского» показали себя не самым лучшим образом, хотя при сканировании по требованию все вирусы из ITW-набора были обнаружены, а на лету оба пакета пропустили по одному файлу, что свидетельствует о проблемах, связанных с качеством сканирования. А вот ClamWin и Dr.Web допустили более существенные промахи, пропустив 25 и 7 вирусов соответственно.

В случае нашего собственного тестирования антивирусные программы должны были произвести проверку базы вирусов, насчитывающей более миллиона червей, бэкдоров, ботов и троянов. При этом использовались только те вредоносные коды, которые действительно были активны за прошедшие полгода; вымершие динозавры времен DOS и Windows 95 не учитывались.

При тестировании желательно было получить наиболее высокий процент распознавания, однако мы понимали, что ни один из способов сканирования не сможет выявить абсолютно все вирусы. В частности, продукт Avira приблизился к идеалу с впечатляющим результатом — свыше 99% распознавания. Результат в 95%, необходимый для положительной оценки, получили еще три продукта: Avast!, AVG и BitDefender. Кроме ClamWin и Dr.Web, которые, как уже упоминалось, не очень хорошо показали себя в этом тестировании, слабо выглядел CA Antivirus с результатом 55% — явно недостаточно для надежной защиты.

Неплохие результаты были получены при выявлении рекламного и шпионского ПО, тестовая база которого насчитывала 25 000 программ. Если раньше для борьбы с ним нужны были специальные антишпионские утилиты, то сейчас разработчики включают в сигнатуры данные и этой категории вредоносного ПО. Мы не ошиблись, термин «вредоносное» здесь вполне уместен: утилиты, способные выуживать секретные сведения или составлять списки интересов пользователей и пересылать их по сети, вполне заслуживают такого звания. Кстати говоря, программы, хорошо справившиеся с вирусным «зоопарком», отлично проявили себя и в испытаниях с обнаружением шпионского ПО. Неудачно выступили в этом тесте CA Antivirus и Norton Antivirus.

Положительным моментом в общей картине оказалось то, что разработчики повысили частоту обновления ПО, а также скорость реагирования на новые вирусные угрозы. В этом отношении лидируют Softwin и «Антивирус Касперского». Лишь пользователи CA Antivirus, McAfee и Microsoft вынуждены ждать обновленных сигнатур в среднем более 12 часов по сравнению с самым быстрым конкурентом. А вот обновления у Microsoft One Care запаздывали даже более чем на сутки.

Мне видно то, чего не видишь ты
Причину того, что хороших результатов сигнатурного распознавания, а также коротких интервалов между обновлениями недостаточно для того, чтобы надежно защитить компьютер, можно показать с помощью несложного расчета. Допустим, разработчик успеет в течение часа после появления новой троянской программы создать необходимые сигнатуры, проверить их и разослать своим клиентам. Однако в это время происходит распространение вредоносного ПО через сеть ботов с использованием около 10 000 активных компьютеров-зомби. Каждый из них в течение трех секунд может отправить сообщение по электронной почте (то есть более тысячи в час). В результате владелец сети ботов успеет охватить около 10 миллионов своих жертв еще до того, как появится первая сигнатура. Конечно, некоторые цифры можно оспорить, но общий принцип ясен: в случае эпидемии сигнатуры всегда запаздывают.

Для создания программ, способных обнаружить неизвестных ранее вредителей, разработчики стали использовать эвристические методы. Они позволяют, в частности, выявлять типичные последовательности кодов или выдавать предупреждения, если проверяемая программа пытается загрузить в память резидентный модуль.

Проверяемое нами антивирусное ПО должно было при помощи старых сигнатур обнаружить новые вирусы.

Тестирование поведенческого анализатора

Поведенческий анализ (проактивная защита) отличается от сигнатурного и эвристического методов, служащих только для распознавания самих вредоносных файлов. Различие в тестировании начинается с выбора вирусов, которые ни один из тестируемых пакетов не может определить при помощи сигнатур. При запуске вирус должен каждый раз попадать в то же самое окружение, а также, к примеру, иметь возможность загружать из сети свои компоненты, несмотря на то что соответствующе серверы к моменту тестирования могли прекратить свое существование.

В ходе самого тестирования вирусу дают возможность сработать и наблюдают за его поведением, а также за тем, как ведет себя антивирусная программа. Если защита предлагает прервать работу, то тестирование прекращается. После этого проверяют, успел ли вирус внедриться и нанести ущерб, или его атака была успешно отражена, а открытые файлы и регистрационные ключи удалены.

В общей сложности тестирование прошли двенадцать вирусов, представляющих опасность для Windows (Spy.VB.QJ, Packer, DNS-Changer.OL, Rbot.BMR, Hmir.DK, Delf.FYR, IRCBot.CHR, Agent.CDM, RBot.XKW, PcClient.BAL, Pakes.AKT, Zlob.KF). При оценке программа получала одно очко, если в итоге компьютер не подвергся заражению, то есть вирус не смог инсталлировать выполняемые компоненты. Если антивирусному ПО удавалось, что система при очередном запуске не была заражена, то антивирус получал пол-очка.

Метод распознавания по поведению подвержен сбоям, в особенности если его используют только для выдачи сообщений об определенных действиях, которые случаются и при нормальной работе. Поэтому на основе инсталляции и актуализации десяти стандартных программ типа ICQ, Winamp или Microsoft Office мы проверили также долю ложных срабатываний.

Спасительный якорь
Тот факт, что сигнатурные методы распознавания не обеспечивают надежной защиты, а эвристический анализ не обладает высокой надежностью, известен уже несколько лет. Решение этой проблемы также известно: при наблюдении за системой антивирус должен распознавать и ранее неизвестные вредоносные программы по их поведению. При увеличении подозрительной активности он предупреждает пользователя и предлагает остановить задачи, которые могут нанести вред компьютеру, или даже отменить некоторые ранее совершенные операции. Эта функция под названием «Проактивная защита» (Proactive Guard, поведенческий анализатор, может также носить название Behavioural Blocker) также встречается в описании многих программных продуктов.

Проведенное нами тестирование показало, скорее, разочаровывающие результаты. Хорошо себя проявил лишь F-Secure Deepguard компании F-Secure, который распознал все 12 «вредителей», причем в большинстве случаев ему удалось воспрепятствовать заражению компьютера. Помимо него обнаружить вредоносные программы по их поведению удалось также Антивирусу Касперского и программе BitDefender. Однако полностью воспрепятствовать заражению системы не смогли и они.

Компании-разработчики McAfee, Norton, Microsoft, а также Trend Micro идут по пути наименьшего сопротивления и предлагают оценивать поведение подозрительных программ самим пользователям. При использовании антивирусов этих производителей вы не раз столкнетесь с сообщениями, которые часто встречались на заре программных брандмауэров: «Программа XYZ хочет выполнить некоторое действие — вы хотите это разрешить?». Загвоздка заключается в следующем: подобные сообщения практически всегда относятся к отдельным действиям, таким как добавление пункта автозапуска в реестр. Даже если пользователь запретит это действие, вирус еще не будет обезврежен; некоторые его компоненты по-прежнему могут оставаться активны. К тому же подобные предупреждения зачастую появляются при установке безобидных программ. Хорошо замаскированный под видеокодек, троян подобным образом вряд ли удастся обнаружить, так как пользователь сам хочет установить эту программу на свой компьютер.

Эти результаты подтверждают и наши эксперименты с простыми, созданных из существующих фрагментов кода, кейлоггерами, которые незаметно для пользователя сохраняют вводимые с клавиатуры данные. Один из кейлоггеров был добавлен в реестр как пункт автозагрузки, другой был установлен как драйвер ядра, третий как служба, а последний дополнительно установил соединение с IRC-сервером. В этом случае приемлемые результаты показали лишь программы компаний F-Secure, BitDefender и Лаборатории Касперского. F-Secure распознала все кейлоггеры как приложения с высоким уровнем опасности, что было отражено в виде рейтинга. Антивирус Касперского сообщил об установке подозрительных драйверов, заметил создание новых файлов и их регистрацию в качества пункта автозагрузки и в качестве службы. Программа B-Have компании BitDefender распознала по поведению все кейлоггеры за исключением фальшивого драйвера ядра.

Программы компаний McAfee и Trend Micro зафиксировали лишь изменения реестра, произведенные первым кейлоггером. У NOD32 и OneCare эвристический анализ позволил обнаружить только первый кейлоггер, вносивший данные в ветвь реестра, отвечающую за автозагрузку. Другим антивирусам и вовсе не удалось ничего обнаружить.

Игра в прятки
Хотя все больше вирусов используют методы руткитов, чтобы скрыть свое присутствие в системе, лишь немногие антивирусные программы готовы к этому в достаточной мере. Лишь программам от F-Secure, Norton и Panda в ходе тестирования удалось обнаружить и удалить все активные руткиты, хотя нами использовались лишь широко известные и доступные образцы. То, что AVG распознает только неактивные руткиты, никак нельзя отнести ей в актив, даже учитывая тот факт, что в программе имеется отдельный модуль для поиска руткитов. Программам ClamWin, Dr.Web, McAfee и OneCare компании Microsoft также практически нечего противопоставить данному типу угроз.

При подозрении на атаку руткитов особое значение приобретает загрузочный аварийный диск, благодаря которому можно просканировать систему не загружая ее. Однако на таких дисках по-прежнему экономят многие производители. А если и не экономят, то явно халтурят: с диска Symantec, как и раньше, загружается DOS с антивирусным сканером сигнатуры которого датированы 2002 годом, а Panda предлагает загрузочный диск на базе Linux, обеспечивающий доступ к разделам диска формата NTFS только в режиме чтения.

Другой способ, используемый для обмана антивирусных сканеров, заключается в использовании архивных файлов, которые те не могут открыть. При этом злоумышленники изменяют права доступа к содержимому, например, в ZIP-архива, таким образом, чтобы антивирусный сканер не смог его открыть, а с помощью утилит, устанавливаемых на компьютер, сделать это было бы можно. Таким образом, вирус может остаться незамеченным при проверке на почтовом шлюзе.

Устойчивость отдельных антивирусов к подобным методам маскировки мы проверили в ходе тестирования с помощью 28 специально подготовленных архивных файлов в формате .rar, .zip и .cab. Их можно было открыть с помощью стандартных программ, таких как интегрированный в Windows ZIP, WinZIP, WinRar или 7zip. Однако только F-Secure обнаружил скрытые вирусы во всех модифицированных архивах.

Подобным образом можно сделать незаметным для антивирусов и вредоносный код, использующий дыры в безопасности браузеров. Уже давно известно, что Internet Explorer полностью игнорирует некоторые элементы кода HTML-страниц. Так, например, злоумышленник может наполнить свой эксплоит нулевыми байтами, чтобы он отличался от образцов в базе данных антивируса. Уловка с добавлением нулевых байтов проходила на всех антивирусах, за исключением BitDefender. Другие программы выдавали предупреждения, однако эксплоитам удавалось сбить их с толку.

Vista и антивирусы
Все тесты проводились на компьютерах с операционной системой Windows Vista. Это не вызывало каких-либо затруднений, так как большинство производителей уже адаптировали для нее свои программы.

Лишь новая модель прав может создать некоторые проблемы из-за того, что антивирусный сканер для полного сканирования системы должен получить необходимые для права, используя функцию контроля учетных записей (UAC). Так, программы AVG и CA Anti-Virus необходимо запускать вручную от имени администратора, чтобы получить возможность проверки абсолютно всех файлов. В противном случае антивирусный сканер просто пропустит папки других пользователей. С антивирусом F-Secure все еще сложнее — программа игнорирует чужие папки даже при наличии необходимых прав. Такую папку можно просканировать только в том случае, если перейти в нее и разрешить действие в появившемся окне контроля учетных записей. При использовании Avast и Dr.Web для выполнения специальных операций пользователь должен ввести пароль администратора при использовании ограниченной учетной записи.

Дополнительно мы протестировали программные продукты на компьютерах с операционной системой Windows XP. При этом мы не обнаружили практически никаких отличий между результатами работы антивирусов в Vista и в XP. Правда, необходимо принимать во внимание, что при использовании специфических функций, таких как проактивная защита и поиск руткитов, на компьютерах с Windows XP в отдельных случаях можно получать другие результаты.

Всего понемногу
Чтобы определить, насколько антивирус замедляет работу компьютера, нами были проведены два теста: вначале программа должна была проверить на наличие вирусов порядка 8000 файлов общим объемом 741 Мбайт. Для оценки работы антивируса при сканировании «на лету», мы также осуществляли копирование файлов на локальном жестком диске, что при отсутствии антивируса занимает 47 секунд.

Высокую скорость работы показал NOD32; такие программы как Avast!, AVG, Antivir, OneCare, Norton, Panda и TrendMicro также не очень сильно тормозили систему. Значительно худшие результаты показала F-Secure, которая при наличии четырех антивирусных движков значительно замедляла работу, а также «Антивирус Касперского», при использовании которого существенно увеличивалось время ожидания при копировании папок с файлами.

Большинство антивирусов незаметно следят за работой почтовых программ и сканируют входящие, а также исходящие сообщения. Наличие этой функции не должно являться решающим фактором при антивирусного ПО, ведь даже если она отсутствует, то программа все равно выдаст предупреждение при попытке открыть или сохранить вложенный файл. К тому же антивирус все равно окажется бессильным при использовании зашифрованного соединения.

Серьезной проблемой может стать недостаточно высокое качество исходного кода антивирусных программ. В 2007 году практически у всех известных антивирусных продуктов были обнаружены критические дыры в безопасности, которые ставят под сомнение надежность всей сферы антивирусного программного обеспечения. Для нашего теста мы задали производителям вопрос относительно принимаемых ими мер по повышению безопасности программных продуктов. Немногочисленные ответы не удалось оценить в полной мере, да и проверить их на предмет соответствия действительности также невозможно. Поэтому данный вопрос все еще остается открытым.



Оценки каждому продукту, также приведенную в статье, не планирую публиковать, зато можно оценить сводную таблицу и выводы по ходу статьи.

Вывод

NOD32 оказался единственным из участников тестирования, которому удалось обнаружить более двух третей новых вредоносных программ; на втором месте расположился BitDefender с результатом 41%, а остальные антивирусы распознавали лишь каждую третью угрозу или даже меньше. В данном случае едва ли можно вести речь о надежной защите компьютера. Столь низкие результаты можно объяснить тем, что разработчики вредоносного ПО стали уделять больше внимания оптимизации своих творений. Особую тревогу вызывает то обстоятельство, что антивирусам в ходе тестирования не удавалось обнаружить некоторые вирусы, которые они успешно находили еще год назад.
Решением этой проблемы может стать поведенческое распознавание вредоносных программ, которое, правда, на данный момент хорошо реализовано только в программе Anti-Virus 2008 компании F-Secure. В сложившейся ситуации рекомендовать тот или иной продукт достаточно сложно, так как ни одна программа не показала превосходных результатов и, следовательно, не может гарантировать безопасность вашего компьютера. Антивирус компании F-Secure не лучшим образом показал себя при поиске шпионских модулей и очень требователен к системным ресурсам. Разумным компромиссом является программа BitDefender, также не отличающаяся высокой скоростью работы, но вместе с тем показавшая хорошие результаты эвристического анализа, распознавшая почти все руткиты и имеющая хорошие перспективы в области поведенческого анализа. Одно из немногих замечаний этой программе заключается в большом количестве ложных срабатываний.
Пользователи, ставящие во главу угла высокую производительность, либо отдадут предпочтение программе Avira, либо закроют глаза на результаты сигнатурного анализа, и будут использовать NOD32, который, благодаря высокой эффективности эвристического анализа, способен защитить компьютер от многих неизвестных вирусов. Avast и AVG также показали очень хорошие результаты сигнатурного анализа. За ними следует целый ряд продуктов, которым еще предстоит избавиться от различных специфических проблем. Самые худшие результаты показали CE Anti-Virus Plus, который провалил почти все тесты, а также ClamWin, не претендующий на конкуренцию с другими участниками. Программам Dr.Web и McAfee также можно найти лучшую альтернативу.
Начинающим пользователям можно посоветовать Norton Antivirus, а если смириться с некоторыми недостатками, то и Windows OneCare. Принимая во внимание тот факт, что коммерческие продукты не показали высоких результатов, некоторые пользователи наверняка предпочтут сэкономить деньги и воспользоваться бесплатной программой. Следует учитывать, что в бесплатных версиях антивирусов Avira и AVG отсутствует функция поиска шпионского ПО, что обязательно необходимо компенсировать установкой дополнительной антишпионской программы. Интегрированная в Vista программа Windows Defender повышает распознавание программ-шпионов лишь до уровня Norton Antivirus. На другие ограничения, такие как отсутствие функции проверки электронной почты, при необходимости можно закрыть глаза. Программа Avast, также являющаяся бесплатной, подойдет не каждому в силу непривычного интерфейса.







В частности, этот обзор по-иному показывает эшелонирование «чистых» антивирусов, нежели это представляет Anti-Malware.ru.
В моей трактовке, судя по сводной таблице и описанию качественных/количественных показателей в тестах, складывается такая картина:
1 эшелон — BitDefender, Avira, F-Secure
2 эшелон — NOD32, AVG, Avast!, KAV 7, Trend Micro, Panda 2008
3 эшелон — Norton AV 2008, McAfee AV 2008, Dr. Web 4.44, MS OneCare
4 эшелон — CA, ClamWin

Ну что, какие мнения будут у общественности?
Теги:
Хабы:
+14
Комментарии 85
Комментарии Комментарии 85

Публикации

Истории

Работа

Ближайшие события

PG Bootcamp 2024
Дата 16 апреля
Время 09:30 – 21:00
Место
Минск Онлайн
EvaConf 2024
Дата 16 апреля
Время 11:00 – 16:00
Место
Москва Онлайн
Weekend Offer в AliExpress
Дата 20 – 21 апреля
Время 10:00 – 20:00
Место
Онлайн