Как стать автором
Обновить

Комментарии 62

Даже полинились заплатить сторонним экспертам :) 99% - фейк! Причем от самих сотрудников.
вы видео-то смотрели? оно чего-то не работает.
Дело не в видео! Дело в том, что более или менее серьезные тесты отдаются сторонним экспертам. Чтобы у народа было хотя бы смутное ощущение объективности данного теста.

Не должны разработчики "антивари" проводить тесты, а потом еще и выставлять их на показ. ИМХО
уверены? тут не антивири работали, судя по заголовку, а поведенческие блокираторы, а с ними фейки не проходят. матчасть таки следует подучить, но это факультативно.
Вы правы я чегото не понимаю! Видимо "блог разработчиков Outpost" никакого отнашения к Outpost не имеет? О_О Тогда извините!
Не должны разработчики "антивари" проводить тесты, а потом еще и выставлять их на показ. ИМХО
Пару слов в защиту разработчиков.
Во-первых, почему бы им не провести тест-то? Хотят люди сравнить свой продукт с конкурентами, так это их право.
А во-вторых я бы не сказал, что разработчики выставили на показ этот тест - они написали у себя в блоге, а на показ выставил я :))
Во-первых, компания обязана делать такие тесты. Чтобы улучшать свой продукт. Но только ДЛЯ СЕБЯ! Такие тесты дают сторонним испытателям. Если вы не понимаете зачем, то я тут ничего сказать не могу.

Во-вторых, интернет - это уже "показ". Любой человек может забрести на блог.

В-третьих. Вы явно не скрываете своей любви к продукции Outpost. Я если честно, тоже пользуюсь Outpost. Но любовь к данному продукту у меня не такая сильная и когда они выкладывают подобные тесты мне смешно.
Во-первых, отдавать сторонним испытателям тестирование или заниматься самим — это компания должна решать сама. Не очень понятно, на каком основании Вы решаете, что компания обязана, а что нет. В вашей схеме получается, что если я пишу софт, то не могу вести открытый багтрекер - потому что тестирую его сам, правильно?

Во-вторых, с Ваших слов получается, что компания должна скрывать результаты своих тестирований — на мой взгляд, довольно спорное утверждение. Вот если бы это тестирование как-нибудь рекламировали, ссылались на него в официальных источниках и т.п. — тогда бы я с Вами полностью согласился.

Ну и в-третьих, я не могу сказать, что люблю продукцию Agnitum, более того, я действительно не использую ни один их продукт (хотя, признаюсь, раньше сидел на пиратской версии их файерволла). Сейчас же у меня антивирус NOD и файерволл iptables :)

Вообще, я пишу комментарии в этом топике не для того, чтобы сказать, что «Agnitum это круто, покупайте Outpost!», а для того, чтобы защитить разработчиков от нападок, которые считаю несправедливыми: они выложили исследование в своем блоге, не называют его "авторитетным" и "независимым", нигде не рекламируют, а тут их ругают, как будто пост написал не я, а посмотреть профиль agnitum.
--------------------
Во-первых, давайте разберемся. «Тестирование продукта» и «сравнение продукта» разные вещи. И багтрекер относиться к «тестированию», ибо там мы тестируем его работу не осматриваясь по сторонам на другие продукты. Но сейчас мы говорим о «сравнении». Вы со мной согласны? Идем дальше. Когда речь заходит о «сравнении» мне вспоминается пример с колбасой (не спрашивайте почему :)

Представьте на секунду приходит к вам производитель колбасы и говорит «Моя колбаса лучше, чем другие, не по всем показателям, но лучше». Первый вопрос, который у вас возникнет «А почему вы так решили?» (ну кто-то может, поверит наслово :) «Как вы это определили?» В ответ производитель колбасы говорит «Да я же не ору об этом на каждом углу! Че привязался!». И уходит. Оставляя вас в недоумении.

Тоже самое и с данным тестом. Пока ничего кроме заявления я не услышал. И еще раз повторю – я за то чтобы делалось «тестирование», но против выкладывания «своих» «сравнений».

Скажите, вы действительно не понимаете зачем «сравнение» оставляют сторонним тестерам?

-----------------------
Во-вторых, если бы компания НЕ ХОТЕЛА чтобы их «сравнение» увидели. Они бы не писали о нем в своем блоге. На этот блог заходят обычные пользователи, и вы ведь как-то на него попали. Или я не прав?

-----------------------
В-третьих. Извините! Действительно показалось что вам понравилась продукция Outpost :)

PS: По поводу своего отношения к Outpost я уже сказал. Я пользуюсь этим продуктом. Он мне нравиться, даже приобрел лицензионную версию! Так-что претензий к разработчикам у меня нет! У меня претензия к такого рода статьям. Я ведь изначально очень заинтересовался тестом. Уж не знаю то ли они поленились выложить доп. информацию, толи просто посчитали это не нужным, толи еще что. Но как я уже говорил ниже, создается впечатление, что они кинули конфетку, а обертку не развернули. ИМХО
Минуточку, а где разработчики сказали, что их продукт лучше? Они выложили 3 видеоролика, но нигде не прокомментировали, что один продукт лучше, а другой хуже. Почему же это плохо?

Или Вы подозреваете их в подтасовке - тогда другое дело.
Да вот представьте :) Я уже ДАВНО!!! неверю разработчикам наслово. Хорошо что они в низу привели информацию.

Вот теперь моя наглая морда довольна :)
лучше под кат частично спрятать и картинку придумать.
а то описано как-то тоскливо - страсти нет, народ пишет =)
indigo: как вариант ESET + Outpost не рассматривается?
Вариант совмещения двух антивирусов вообще не рассматриваю в принципе - только мешать друг другу будут. Скорее на Outpost перейду :)
самое смешное, что прямо здесь в директе рекламируется http://www.maxantispy.com - фейковый антивирь, который ЯКОБЫ лечит
хых... у меня стоит KIS, товарищу на слабое железо недавно покупал какую-то такм секьюрити от ESET.

разочаровался в обоих после получения на почту очередного вируса. ни KIS ни NOD на него не среагировали, правда и на virustotal только theHacker и F-Prot заподозрили неладное...

зато KIS порадовал в плане реакции на свежую заразу - реагировать начал в тот же день, а вот NOD на заразу не реагировал еще 4 дня ...

про Аутпост ничего не скажу - ни разу не пробовал :")
Ни один антивирус не гарантирует 100% защиту от неизвестной заразы. Эвристики - это, конечно, хорошо, но и они, думаю, не более 80% выловят. Если сравнивать - то сравнивать на том, что было выловлено своими руками, и никак не меньше сотни-другой файлов. В остальные способы я верю плохо :-)
Ни один антивирус не гарантирует 100% защиту от неизвестной заразы.

это понятно, просто расстроило что какой-то theHacker про заразу уже знает а остальные нет :(
Может, запись у них кривая и они ловят ей много чего, а зараза случайно под нее попала :-) 1 раз - случайность, 100 раз - закономерность.
Честно говоря я про TheHacker узнал именно с virustotal. до этого о нем вообще ничего не слышал. да и после того как узрел строчку в списке антивирусов всё еще ленюсь погуглить на предмет "что это такое" :")
вполне возможно что оно еще молодое и сырое и, как следствие, сигнатуры у него "кривенькие" :")
в тесте показано, что делается не в случае просто прихода вируса, а в случае его активации в системе и попытки прописаться в ней. вот вам и способ ловли "руками outpost" - он в первую очередь не антивирус, а HIPS, если вам это что-то скажет :)
Да я про другое, а именно про то, что нельзя доверять вендорам выбор тестовой заразы.
Вы же вирусный аналитик компании, привыкшей ко вполне конкретным методам борьбы с вредоносным кодом, поэтому смотрите несколько однобоко на тест как на "тест антивирусов". Тестировался способ перехвата и блокировки заразы еще не встроенным в Dr. Web компонентом - и, может, стОит его изучить получше и почитать http://www.matousec.com на предмет того, как тестировать подобные компоненты? ;)
Я указываю на методитческие ошибки любого исследования. Ошибка первая - делается вывод на основании слишком малого количества испытаний. И вторая ошибка - исследование проводится заинтересованными лицами. А что именно при таких ошибках исследуется - дело десятое. Когда они будут устранены - можно будет заняться и непосредственно методикой.
С 1-ым тезисом в отношении этого теста не согласен. Второй - да, имеет право на существование.
Мде... Каспер что-то в ауте, ну собсна я всё равно его использую только как сканер, ибо этот товарищ столько систем порушил у моих знакомых, что экстримом заниматься самому не хочется.
А что там проактивных защиты у всех эти продуктов по разному принципу работают, что Аутпост ловит а эти нет?
Есть какие-нить статьи на эту тему почитать?

P.S. Esset правда еще не пробовал.
А что там проактивных защиты у всех эти продуктов по разному принципу работают, что Аутпост ловит а эти нет?
Разумеется, по-разному. Алгоритм проактивной защиты - это всегда ноу-хау разработчика антивируса в каком-то смысле - разумеется, есть и общие методы (например, отлов изменений реестра, системных файлов и т.п.), но вообще каждый пишет свои дополнительные методы сам.
лучше всего справляется линух
Это пока вирусописатели за него основательно не взялись. Вот будет (еще)популярнее - и под него вирей больше появится.
Навряд ли. Слишком хорошо разграничены права.
Уязвимости есть во всех системах. Просто стимула особого нет пока - есть невероятно большое количество и серверов и рабочих станций в сети под управлением виндовса, в котором гораздо больше багов и которые закрываются гораздо медленнее. Вот и не пишут.
От кривых рук не спасают никакие права. А кривых рук, сидящих под Линуксом, становится всё больше и больше.
НЛО прилетело и опубликовало эту надпись здесь
у всех не воспроизводится
вот такие результаты, что их посмотреть нельзя.
Файрволл в ESET Smart Security скорее для галочки. Связка NOD32 3.0 + Comodo Firewall 3.0 зарекомендовала себя исключительно с положительной стороны. А Defence+ в Comodo Firewall вообще потрясающая система.
Firewall тут не при чем - он Вам вирус не поймает, он только заблокирует нежелательные сетевые соединения, да и то не всегда.
Я заметил, что сравнивали эвристику. И в этом свете заявления о том, что у ESET она плохая выглядят скорее антипиаром, нежели правдой. Про файрволл написал просто к слову :)
это НЕ эвристика. это поведенческий блокиратор.
Методика, которую применяли разработчики, проста: выключаются все модули, кроме эвристического, и на тестовой машине запускается какой-нибудь неизвестный вредоносный код (бэкдор, троян), после чего проверяется, смог ли модуль проактивной защиты справиться с неизвестной угрозой.


С вашего поста цитата.
Тыц, с поста автора, а не с вашего :)
Если честно, я был уверен, что поведенческий блокиратор действует на основании эвристик. Прошу прощения у всех, кого ввел в заблуждение.
наверное долго искали вирь который только аутпостом выкуптцо. или сами написали :)
Большое спасибо за интерес к нашему исследованию. Хотим заверить, что мы никоим образом не тестировали механизмы антивирусной защиты по сигнатурам или с использованием эвристического анализа (все соответствующие настройки Internet Security-продуктов были выключены), поэтому говорить о "подтасовке" результатов неуместно.

Это иной тест, не тест антивируса. Речь идет о попытке предотвращения заражения реальной машины в ходе активации неизвестной угрозы. Рассматривается блокировка ее доступа в уязвимые места системы, дальнейшей локальной и сетевой активности.

Тестирование опиралось исключительно на анализ работы модулей локальной безопасности (поведенческого блокиратора) в составе исследованных продуктов.

Так называемый "специальный подбор" вируса заключался исключительно в испытании на образце, не детектируемом всеми тремя продуктами на момент теста.

В ближайшее время будет исправлено отображение видео на блоге. С уважением, авторы http://www.internet-security.ru
А сколько сэмплов на тестирование пошло? 1 или 10? Или все-таки сотня была? ;-)
Конкретно на видео 1 образец вредоносного кода - неопознаваемая по сигнатурам модификация Warezov. Тестируется возможность обхода защиты и возможность предупреждения заражения. Результаты в ближайшее время будут снова доступны.
Ребят, ну это просто смешно! По 1 (одному) примеру делать выводы. Уж если вы проводите исследования, то делайте их нормально: выборка в несколько десятков/сотен, данные вирустотала по всем сэмплам, к каким семействам зараза относится... Схалтурили-с :-)
Предлагаем внимательно перечитать 1-ый комментарий этой ветки, содержащий текст "Это не тест антивируса." Надеемся на понимание.
Даже если исследуется механическая прочность коробок с вашими продуктами, исследование должно быть сделано нормально. Есть такое правило, и оно не касается того, что именно исследуется.
Т.к. в тестировании рассматривается заражение реального ПК, а от защитного продукта требуется проявить себя в защите критических системных мест и объектов Windows, статистическая точность не является критичной для именно этого вида тестирования.

К тому же задача для большего числа образцов становится крайне трудоемкой и скорее факультативна. Для демонстрации основных возможностей продуктов по защите от активизированного в системе вредоносного кода достаточно такого теста.

Воспроизвести же данное видео по предложенной методике теста на любом ином образце при наличии у Вас ресурсов на тестирование не представляется нам затруднительным. Желаем удачи!
Для успешных продаж - достаточно и 1 случая, который красиво заснят на видео, не спорю ;-)
И тут ты :)
Ой, как хорошо, что вы пришли :) У меня к вам куча вопросов.

"говорить о "подтасовке" результатов неуместно" – То есть вы считаете мнение пользователя (а я пользуюсь вашим продуктом) неуместным? :) Шутка. А если серьезно - почему не отдали сторонним тестерам? Не было денег, желания, времени, посчитали что и так сойдет. Почему?

На каких компьютерах проводился тест? Конфигурация, ОС, установленные программы (помимо «сравниваемых»), установлены ли «сравниваемые» вместе?

Сколько раз проводился тест? Запускались ли во время теста другие программы? Классификация «семплов», их названия. Сколько «семплов» было?

Время затраченное на тестирование?

Версии «сравниваемых» программ?

Почему сразу не была выложены ответы на эти вопросы?

PS: Все это МИНИМАЛЬНЫЙ набор вопросов, ответ на который мне необходим, чтобы хотя бы смутно поверить в «объективность» теста. Уж извините, что я такой, просто уже отвык верить разработчикам, на слово.
"Т.к. в тестировании рассматривается заражение реального ПК, а от защитного продукта требуется проявить себя в защите критических системных мест и объектов Windows, статистическая точность не является критичной для именно этого вида тестирования." :-)
"статистическая точность не является критичной для именно этого вида тестирования." :-)"

Я понимаю, но ЭТА информация важна для меня хотя бы, потому что это гарантия со стороны фирмы, что тест был объективным. Просто фраза "да он обьектывный!" или "да здесь лишняя для вас информация не нужна" меня почему-то не убеждает. Разработчики заинтересовали меня тестом, мне действительно было интересно, но отсутствие информации меня убивает. Такое ощущение, что они кинули конфетку, а обертку не развернули :)
Так это я процитировал разработчиков, я у них хотел узнать, почему они только на 1 файле проверяли :-) Боюсь, что ответа на свои вопросы по существу вы тоже не получите...
имхо, проще в комментарии на блоге спросить, чем тут. привычка, что божий глас придет на каждый форум, не всегда спасает =)
На каких компьютерах проводился тест? (Конфигурация: Athlon X2, 2GB RAM, ОС Windows XP 32-bit SP3)
Установленные программы (помимо «сравниваемых»): ПО для обработки видео, утилиты для аудита безопасности системы и мониторинга для помощи в записи видео, «сравниваемые» вместе не были установлены вследствие несовместимости (это явным образом отражено в видео).

Тест проводился 1 раз на приложение.
Во время теста запускались иные программы - утилиты для снятия и мониторинга
"Семпл" - только 1 использованный в тесте образец из семейства троянов Warezov.

Время на тестирование - по 2 часа на продукт + порядка 6 часов на обработку видео. Выкладка видео на блоги Agnitum была произведена 2 месяца спустя.
Версии «сравниваемых» программ - наиболее актуальные на дату теста (22 апреля 2008 года) – Kaspersky Internet Security 7.0, Eset Smart Security, Outpost Security Suite Pro 2008 (6.0).

В будущем подобные вопросы просим адресовать в комментарии на блоге как более близком Agnitum источнику обратной связи. С благодарностью за внимание, команда блога Agnitum.
есть же прикол про нод, обычно ответ на то что касперкий везде вирусы ловит/видит - поставь нод он их не видит ;)
чё самое плохое это правда ;)
Раньше юзал NOD 2.7, нравился своей надёжностью, быстротой работы, удобным интерфейсом. Сейчас перешёл на новую версию 3.0 Вообще Касперский не понравился тем что сильно нагружает систему.
НЛО прилетело и опубликовало эту надпись здесь
Зарегистрируйтесь на Хабре, чтобы оставить комментарий

Публикации

Истории