Comments 39
Я правильно понимаю, что все тестовые данные по лабораториям у Вас есть?
Можно попросить Вас сделать одолжение для техгиков хабра и лично для меня — нарисуйте график по горизонтальной шкале лаборатории, по вертикальной score в %, набранное в ходе тестов конкретной лаборатории.
И показать на графике для сравнения три продукта (на одном графике, столбиками разных цветов) KAV, Avira и AVG.
Это будет наглядно и понятно, т.к. сейчас кроме «Мы посовещались и решили — мы лучшие» я больше из статьи ничего не увидел, извините. График, который Вы привели, без цифр тестов лабораторий, которые можно проверить — также непонятен.
Заранее спасибо.
Можно попросить Вас сделать одолжение для техгиков хабра и лично для меня — нарисуйте график по горизонтальной шкале лаборатории, по вертикальной score в %, набранное в ходе тестов конкретной лаборатории.
И показать на графике для сравнения три продукта (на одном графике, столбиками разных цветов) KAV, Avira и AVG.
Это будет наглядно и понятно, т.к. сейчас кроме «Мы посовещались и решили — мы лучшие» я больше из статьи ничего не увидел, извините. График, который Вы привели, без цифр тестов лабораторий, которые можно проверить — также непонятен.
Заранее спасибо.
И снова здравствуйте :) Цифры по нашей методике по основным вендорам (включая упомянутые вами) есть в доке (вот она).
График по вашему заказу нарисовать невозможно, так как «проценты» везде разные — где-то по детектам, где-то по производительности. Отличаются методики тестирования даже в тестах одной Лаборатории (динамическое, real-world, статическое, reactive & proactive и еще много разных других). Как это объединять? Мы свой вариант объединения предложили: частота участия в тестах, попадание в тройку лидеров, количество побед.
График по вашему заказу нарисовать невозможно, так как «проценты» везде разные — где-то по детектам, где-то по производительности. Отличаются методики тестирования даже в тестах одной Лаборатории (динамическое, real-world, статическое, reactive & proactive и еще много разных других). Как это объединять? Мы свой вариант объединения предложили: частота участия в тестах, попадание в тройку лидеров, количество побед.
Здравствуйте.
Тип тестов, как и методика не важен, важен результат — лишь бы он был нормализован 100% -ми. Так что вполне можно нарисовать.
% позволят потом оценить тест между 3 столбиками данной лаборатории — понятно, что сравнивать их с другими лабораториями никто не будет — попугаи везде разные.
Тип тестов, как и методика не важен, важен результат — лишь бы он был нормализован 100% -ми. Так что вполне можно нарисовать.
% позволят потом оценить тест между 3 столбиками данной лаборатории — понятно, что сравнивать их с другими лабораториями никто не будет — попугаи везде разные.
Ну так что по поводу графика?
Будет?
Будет?
Что-то ни ответа, ни привета.
Вы проясните свою позицию то?
Будет сравнение, которое я попросил, или не будет.
Или Вы считаете его не правильным? Тогда бы хотелось узнать причину.
А то у меня складывается впечатление, что Вы только на удобные для Вас вопросы отвечаете.
Я давно хотел написать про свое тестирование и мой выбор антивирусов — как раз будет удобно Ваши громкие заявления упомянуть и Ваше молчание потом.
Вы проясните свою позицию то?
Будет сравнение, которое я попросил, или не будет.
Или Вы считаете его не правильным? Тогда бы хотелось узнать причину.
А то у меня складывается впечатление, что Вы только на удобные для Вас вопросы отвечаете.
Я давно хотел написать про свое тестирование и мой выбор антивирусов — как раз будет удобно Ваши громкие заявления упомянуть и Ваше молчание потом.
Я вам уже сказал выше, почему «неправильно», вы просто не хотите слушать. Простой пример. Берем два теста AV-Comparatives: Retrospective/Proactive и File Detection. В первом случае награду Advanced+ (высшую по классификации исследователей) получили вендоры, показавшие результат в 84% детектов или выше. Во втором — ту же награду получают вендоры, показавшие результат в 99,3% и выше. Почему так? Тестеры учитывают особенности теста, принимают во внимание возможную погрешность. Вы же это принимать во внимание не хотите, оставив только «проценты». ОК, ваше право. Наше право дать понять, что это плохая методика.
Это Вы меня не поняли :)
Сумма по всем тестам лаборатории — это действительно ничего не показывает.
Я по оси X говорил про конкретные тесты конкретной лаборатории.
Видимо сложно со слов понять, окей, я картинку нарисовал — надеюсь, будет понятно.
Сумма по всем тестам лаборатории — это действительно ничего не показывает.
Я по оси X говорил про конкретные тесты конкретной лаборатории.
Видимо сложно со слов понять, окей, я картинку нарисовал — надеюсь, будет понятно.
Ну и, относительно тестов — на самом деле все тесты можно не приводить, а вот основные — лечение активного заражения, Ваши любимые «сырые» тесты, эвристика, ложные срабатывания — т.е. самые основные.
Но, конечно, если бы Вы сделали такой чарт по всем тестам хотя бы 3 независимых лабораторий — было бы очень круто.
Но, конечно, если бы Вы сделали такой чарт по всем тестам хотя бы 3 независимых лабораторий — было бы очень круто.
а кто им за это заплатит? :)
Им за это лояльность пользователей заплатит, если грубо :)
А если не грубо — я не в курсе финансирования у них — спросите у Kasperskiy_Lab :)
Они любят громкие заявления делать. Сделал — изволь подтвердить, иначе ты так и останешься только с громкими заявлениями.
А они были в предыдущей теме на той неделе.
А если не грубо — я не в курсе финансирования у них — спросите у Kasperskiy_Lab :)
Они любят громкие заявления делать. Сделал — изволь подтвердить, иначе ты так и останешься только с громкими заявлениями.
А они были в предыдущей теме на той неделе.
Опять молчание :) Вы с чем-то снова не согласны? :)
Тесты — это один из важнейших критериев для выбора защиты.
Очень интересно как происходит тестирования, по каким характеристикам, и вот главное насколько у антивирусных компаний есть возможность подготовится к тесту.
Ключевых характеристик в принципе немного — эффективность детектирования и блокирования угроз, количество ложных срабатываний, производительность. Только вот подход к измерению этих характеристик у всех лабораторий разный. Исследуются разные типы угроз (например, распространенные, самые свежие, все подряд или соответствующие определенному вектору угроз, как то банковская малвара, эксплойты, трояны итд), в разных условиях. Производительность измеряют в разных сценариях, так или иначе моделирующих поведение обычного пользователя.
Подготовиться к этому — в смысле что-то поменять в продукте под соответствующую методику теста — ну, теоретически можно. Правда сами лаборатории таких читеров (будем говорить прямо) обнаруживают и исключают из тестов надолго (были преценденты с довольно известными вендорами). Единственный разумный способ повлиять по результатам — это аргументированно оспорить предварительные результаты, если обнаруживаются ошибки теста. Например, если регистрируется ложное срабатывание на какую-то программу, лаборатория считает ее легитимной, а мы — вредоносной (той же адварью, например). Либо если зачтен пропуск, хотя даже логи продукта указывают на то, что вредоносная программа была обнаружена и удалена.
Исследовательские лаборатории как правило весьма детально расписывают свою методику: что и как тестировали, при каких настройках программ итд. Пример для лаборатории AV-Comparatives. Общие описания тестов здесь: www.av-comparatives.org/comparatives-reviews/ Далее по ссылкам более подробные описания методик, самые подробные — в начале каждого отчета.
Подготовиться к этому — в смысле что-то поменять в продукте под соответствующую методику теста — ну, теоретически можно. Правда сами лаборатории таких читеров (будем говорить прямо) обнаруживают и исключают из тестов надолго (были преценденты с довольно известными вендорами). Единственный разумный способ повлиять по результатам — это аргументированно оспорить предварительные результаты, если обнаруживаются ошибки теста. Например, если регистрируется ложное срабатывание на какую-то программу, лаборатория считает ее легитимной, а мы — вредоносной (той же адварью, например). Либо если зачтен пропуск, хотя даже логи продукта указывают на то, что вредоносная программа была обнаружена и удалена.
Исследовательские лаборатории как правило весьма детально расписывают свою методику: что и как тестировали, при каких настройках программ итд. Пример для лаборатории AV-Comparatives. Общие описания тестов здесь: www.av-comparatives.org/comparatives-reviews/ Далее по ссылкам более подробные описания методик, самые подробные — в начале каждого отчета.
Использовать линейную величину в качестве диаметра кружочка — обман, если не сказать хуже.
Перерисуйте кружочки так, чтобы количество побед было их площадью, и картинка внезапно станет чуть менее драматичной.
Перерисуйте кружочки так, чтобы количество побед было их площадью, и картинка внезапно станет чуть менее драматичной.
Интересно, почему именно Касперский участвует в наибольшем количестве тестов. Маркетологи других антивирусов в отпуске?
Ладно было бы понятно еще победа в тесте, но хотя бы просто участие — не верю, что у того же Symantec или Microsoft нет времени и желания поучаствовать. В общем мне это выглядит подозрительно.
P.S. Было бы неплохо к статье приложить все ссылки на отчеты о 51/93 тестированиях/review, на основании которых были сделаны графики.
Ладно было бы понятно еще победа в тесте, но хотя бы просто участие — не верю, что у того же Symantec или Microsoft нет времени и желания поучаствовать. В общем мне это выглядит подозрительно.
P.S. Было бы неплохо к статье приложить все ссылки на отчеты о 51/93 тестированиях/review, на основании которых были сделаны графики.
Не могу сказать, что делают маркетологи у конкурентов :) Cамо по себе количество тестов много пользы не принесет, но оно используется для подсчета важного параметра — доли тестов, в которых вендор победил или занял призовые места. А вообще есть два типа вендоров: те, кто участвует в тестах «за награду» и те, кто использует независимые тесты вместе с собственными, чтобы действительно что-то изменить в продукте к лучшему.
В подробном описании методики (тут: media.kaspersky.com/en/business-security/TOP3_2014.pdf) указаны все учтенные тесты за 2014 год с разбивкой по лабораториям.
В подробном описании методики (тут: media.kaspersky.com/en/business-security/TOP3_2014.pdf) указаны все учтенные тесты за 2014 год с разбивкой по лабораториям.
Не наблюдаю drWeb.
Вопрос наверное не к вам, но всё-же.
Специально скрыли, или они не участвуют вообще в тестировании?
Вопрос наверное не к вам, но всё-же.
Специально скрыли, или они не участвуют вообще в тестировании?
Насколько знаю, официально они не участвуют.
«Среди основных проблем существующих тестов можно выделить низкую точность и нерепрезентативность получаемых результатов. Точность не оценивается вообще нигде.
Источники поступления вирусных образцов не уточняются, но не трудно предположить, что берутся они из коллекции какого-то вендора – того, с кем сотрудничает тестер и кто однозначно выиграет в этом тесте. Репрезентативность исследуемых образцов вредоносных программ оставляет желать лучшего. На низкую точность указывает также и тот факт, что корреляция между результатами тестирований, проводимых различными тестовыми лабораториями, весьма низкая», — поделился мнением аналитик компании «Доктор Веб» Валерий Ледовской.
Сам крутился в этой среде (АВ-компании) и не по наслышке знаю, как проводятся эти «независимые» тесты.
Компания пишет Тестировщику запрос на прохождение у них тестов. Затем, до опубликования результатов, если они не слишком хороши у кого-то, Компанией отсылается предложение «улучшить результаты» за определенную сумму. Если Компания согласна это сделать, и оплачивает «улучшение», высылаются рекомендации по «улучшению результатов» с необходимыми семплами и т.д.
Данные грешки были замечены за компаниями Virus Bulletin, AV-Comparatives и некоторыми другими.
Компания пишет Тестировщику запрос на прохождение у них тестов. Затем, до опубликования результатов, если они не слишком хороши у кого-то, Компанией отсылается предложение «улучшить результаты» за определенную сумму. Если Компания согласна это сделать, и оплачивает «улучшение», высылаются рекомендации по «улучшению результатов» с необходимыми семплами и т.д.
Данные грешки были замечены за компаниями Virus Bulletin, AV-Comparatives и некоторыми другими.
Вы путаете регулярные тесты с исследованиями по заказу какой-либо компании. На первых строится репутация независимых тестировщиков, им самим невыгодно играть в чью-то пользу. Вторые как правило делаются потому, что набор стандартных тестов не покрывает все возможности защитного ПО, и вендор хочет исследовать конкретную фичу. Сам факт «спонсорства» в таком случае всегда указывается, хотя конечный результат заказчик также не контролирует.
Слабо верится в то, что кто-либо будет указывать факт «спонсорства» в результатах теста.
А насчет «независимых» тестировщиков: кто мешает опрашивать не одного конкурсанта, а нескольких, на предмет «улучшения результатов»? Так и денежка дополнительная появится. А так как такие вот «сделки» не афишируются, то все выглядит вроде даже бы и честно.
Стандартные тесты давно уже покрывают все те фичи, которые выставляют «на показ» антивирусы. Расскажите подробнее о таких вот доплатах, когда требуется выделить какую-то конкретную фичу антивируса?
Ну а в остальном, конечно, все элементарно: какая компания будет выставлять результаты теста, в котором она не первая.
А насчет «независимых» тестировщиков: кто мешает опрашивать не одного конкурсанта, а нескольких, на предмет «улучшения результатов»? Так и денежка дополнительная появится. А так как такие вот «сделки» не афишируются, то все выглядит вроде даже бы и честно.
Стандартные тесты давно уже покрывают все те фичи, которые выставляют «на показ» антивирусы. Расскажите подробнее о таких вот доплатах, когда требуется выделить какую-то конкретную фичу антивируса?
Ну а в остальном, конечно, все элементарно: какая компания будет выставлять результаты теста, в котором она не первая.
«Слабо верится в то, что кто-либо будет указывать факт «спонсорства» в результатах теста»
Там где спонсорство есть, это указывается. Пример: ссылка, цитата:
This assessment was commissioned and sponsored by Kaspersky Lab to serve as an independent efficacy
assessment of its Kaspersky Endpoint Security (KES) for Windows product and it’s Automatic Exploit
Prevention (AEP) module.
Кажется с вашим «не по наслышке знаю» стало все понятно.
Там где спонсорство есть, это указывается. Пример: ссылка, цитата:
This assessment was commissioned and sponsored by Kaspersky Lab to serve as an independent efficacy
assessment of its Kaspersky Endpoint Security (KES) for Windows product and it’s Automatic Exploit
Prevention (AEP) module.
Кажется с вашим «не по наслышке знаю» стало все понятно.
Тесты бывают разные (в том числе у одной и той же тестовой лаборатории:
1. Некая лаборатория Х проводит публичный тест (результаты для паблика) антивирусов по некоему таймауту. Все антивирусы в курсе. Если антивирус хочет принять участие в этом тестировании — скидывает небольшую копеечку (тестерам тоже надо семьи кормить). Потом ждет результаты, которые будут не шибко отличаться от пабликовых. Например: если на паблик будет озвучено, что антивирус задетектил 95%, и три раза было ложное срабатывание, то во внутреннем докладе этому антивирусу еще скажут на каких именно файлах он трижды лажанул.
2. Некая лаборатория Х умеет и обычно проводит вполне конкретные тесты. Если антивирусу Y стал интересен его результат в неком тесте, то он может провести его сам и/или заказать приватное тестирование у лаборатории. Цена вопроса в разы выше пункта первого, но в данном случае инфа в паблик не попадает, а антивирус получает многостраничные отчеты и рекомендации от лаборатории, а если заплатить побольше, то они еще и на дом приедут и пояснят на пальцах.
3. Некая лаборатория проводит тестирование и сама решает кого ей тестировать плевав на мнение самого антивируса об этом тесте. Такое тестирование, разумеется бесплатно.
4. Антивирус Х заказывает лаборатории Y тест на заданной им (или допиленной им) методологии или просто конкретной фичи, будучи заранее уверенным в своей победе (т.к прикидки были сделаны). Тестирование сильно платное, результаты в паблик или партнерам. Кто именно спонсор тестирования указывается — если внимательно читать всю паблик-документацию по тесту это можно найти. Для остальных участников теста оно (ну еще бы!) бесплатное.
Очевидно, что антивирус может отказаться от участия во всех тестах кроме третьего. Причины могут быть любые: не хочу, сходи к врачу, а зачем?, нет денег, потом, чего-то ссыкотно, все равно купят, и т.д
Применительно к ДокторВеб: а зачем ему участие в тестах? Основной его рынок — российские конторы больших и средних размеров и государственные в их числе (корпоративные клиенты), а тут результаты в тестах не играют фактически никакой роли. Тут важна традиция, знакомства, откаты, сертификаты, масштабируемость, поддержка, простота получения услуги и всякое такое.
Если я в чем-то не прав, то прошу Kaspersky_Lab меня поправить.
1. Некая лаборатория Х проводит публичный тест (результаты для паблика) антивирусов по некоему таймауту. Все антивирусы в курсе. Если антивирус хочет принять участие в этом тестировании — скидывает небольшую копеечку (тестерам тоже надо семьи кормить). Потом ждет результаты, которые будут не шибко отличаться от пабликовых. Например: если на паблик будет озвучено, что антивирус задетектил 95%, и три раза было ложное срабатывание, то во внутреннем докладе этому антивирусу еще скажут на каких именно файлах он трижды лажанул.
2. Некая лаборатория Х умеет и обычно проводит вполне конкретные тесты. Если антивирусу Y стал интересен его результат в неком тесте, то он может провести его сам и/или заказать приватное тестирование у лаборатории. Цена вопроса в разы выше пункта первого, но в данном случае инфа в паблик не попадает, а антивирус получает многостраничные отчеты и рекомендации от лаборатории, а если заплатить побольше, то они еще и на дом приедут и пояснят на пальцах.
3. Некая лаборатория проводит тестирование и сама решает кого ей тестировать плевав на мнение самого антивируса об этом тесте. Такое тестирование, разумеется бесплатно.
4. Антивирус Х заказывает лаборатории Y тест на заданной им (или допиленной им) методологии или просто конкретной фичи, будучи заранее уверенным в своей победе (т.к прикидки были сделаны). Тестирование сильно платное, результаты в паблик или партнерам. Кто именно спонсор тестирования указывается — если внимательно читать всю паблик-документацию по тесту это можно найти. Для остальных участников теста оно (ну еще бы!) бесплатное.
Очевидно, что антивирус может отказаться от участия во всех тестах кроме третьего. Причины могут быть любые: не хочу, сходи к врачу, а зачем?, нет денег, потом, чего-то ссыкотно, все равно купят, и т.д
Применительно к ДокторВеб: а зачем ему участие в тестах? Основной его рынок — российские конторы больших и средних размеров и государственные в их числе (корпоративные клиенты), а тут результаты в тестах не играют фактически никакой роли. Тут важна традиция, знакомства, откаты, сертификаты, масштабируемость, поддержка, простота получения услуги и всякое такое.
Если я в чем-то не прав, то прошу Kaspersky_Lab меня поправить.
Главное, что меня привлекает в антивирусе Касперского — это умеренная политика шпионажа за пользователями, по сравнению с конкурирующими продуктами.
Я сравнивал ваше лицензионное соглашение с Avast, Avira, и оно оставляет антивирусу значительно меньше возможностей для слежки за пользователем(при отключении Community mode). И для меня это было определяющим фактором.
Как-то неуютно, когда по лицензионному соглашению антивирус может собирать и передавать совершенно любые файлы с компьютера, активность пользователя вплоть до клавиатурных логов и т.д. Чувствуешь себя как живущим в стеклянномполицейском участке доме.
Я сравнивал ваше лицензионное соглашение с Avast, Avira, и оно оставляет антивирусу значительно меньше возможностей для слежки за пользователем(при отключении Community mode). И для меня это было определяющим фактором.
Как-то неуютно, когда по лицензионному соглашению антивирус может собирать и передавать совершенно любые файлы с компьютера, активность пользователя вплоть до клавиатурных логов и т.д. Чувствуешь себя как живущим в стеклянном
Фишка «независимых» тестов в том, что танцует тот, кто заказывает музыку. А независимых тестов не бывает.
Не надо путать причину и следствие. Музыку заказываюь не дураки, прежде чем заказать музыку умный человек убедится, что он как минимум не худший танцор в зале.
Я не путаю причину и следствие, возможно Вам следует обратить большее внимание на своё восприятие этой темы.
Никто про дураков и не говорит, это большой бизнес, и построен он на убеждении пользователя(формировании доверия) + агрессивном маркетинге.
Идеальная цель каждого антивируса — заставить поверить пользователя, что именно этот антивирус его полностью «защищает», даёт ему гарантии, причем не употребляя в маркетинге терминов «гарантии», «100% защита» и т.п. по понятным нам причинам.
Большинство обывателей, купив и установив антивирусное ПО на свой компьютер, считают, что произвели абсолютно полный набор действий для защиты компьютера — и это «заслуга» маркетинга антивирусных компаний.
Я не против антивирусов как таковых, они заняли своё место в пустующей нише экосистемы Windows в тот момент, когда Microsoft не уделяла должного внимания безопасности своей операционки.
Сейчас это уже не так, и места для манёвров в системе всё меньше — поэтому антивирусы ищут решения для сохранения сформированного рынка — виртуализация системы, собственные операционные системы — это всё не веяния моды, это их единственный путь к выживанию.
Я считаю, что антивирусы «заигрались» и потеряли рамки между «добром» и деньгами.
И антивирус Касперского в этом лидирует, по крайней мере на том рынке, на котором пересекается с ним моя личность.
Вот например, как вы считаете, допустимым ли является использование механизмов «легальной»(то есть платной и законной в рамках экосистемы Гугла) подмены выдачи в гугле антивирусом Касперского? Релевантен ли он для пользователя?
Никто про дураков и не говорит, это большой бизнес, и построен он на убеждении пользователя(формировании доверия) + агрессивном маркетинге.
Идеальная цель каждого антивируса — заставить поверить пользователя, что именно этот антивирус его полностью «защищает», даёт ему гарантии, причем не употребляя в маркетинге терминов «гарантии», «100% защита» и т.п. по понятным нам причинам.
Большинство обывателей, купив и установив антивирусное ПО на свой компьютер, считают, что произвели абсолютно полный набор действий для защиты компьютера — и это «заслуга» маркетинга антивирусных компаний.
Я не против антивирусов как таковых, они заняли своё место в пустующей нише экосистемы Windows в тот момент, когда Microsoft не уделяла должного внимания безопасности своей операционки.
Сейчас это уже не так, и места для манёвров в системе всё меньше — поэтому антивирусы ищут решения для сохранения сформированного рынка — виртуализация системы, собственные операционные системы — это всё не веяния моды, это их единственный путь к выживанию.
Я считаю, что антивирусы «заигрались» и потеряли рамки между «добром» и деньгами.
И антивирус Касперского в этом лидирует, по крайней мере на том рынке, на котором пересекается с ним моя личность.
Вот например, как вы считаете, допустимым ли является использование механизмов «легальной»(то есть платной и законной в рамках экосистемы Гугла) подмены выдачи в гугле антивирусом Касперского? Релевантен ли он для пользователя?
Подозреваю, что под «добром» вы понимаете обыкновенное «робингудство». Так вот, возможно, для вас это будет в новинку, но «это бизнес, детка» :) Что касается рекламы, то вы всё сами написали — легальная, платная и законная. И не нужно бросаться громкими словами подмена, никто на это не купится.
Странно, что прочитав комментарий, Вы свою точку зрения «это бизнес» не связали с моей «это большой бизнес».
Под добром я не ищу «робингудство», все хотят кушать, работать и зарабатывать, а правил в бизнесе особых нет — это жесткая среда, где выживает самый приспособленный.
Но и рассказывать мне по НЕЗАВИСИМЫЕ тесты не нужно — в нашем мире нет ничего НЕЗАВИСИМОГО, особенно там, где крутятся деньги.
Эту мысль я и хотел донести до Вас.
Под добром я не ищу «робингудство», все хотят кушать, работать и зарабатывать, а правил в бизнесе особых нет — это жесткая среда, где выживает самый приспособленный.
Но и рассказывать мне по НЕЗАВИСИМЫЕ тесты не нужно — в нашем мире нет ничего НЕЗАВИСИМОГО, особенно там, где крутятся деньги.
Эту мысль я и хотел донести до Вас.
Кстати, посмотрел, Вы работаете в ЛК.
Тогда вопрос, насколько данная реклама вписывается в нормы бизнес-этики? Уточняю, реклама отображается и в режиме инкогнито Гугл Хрома, и не связана с моей историей поиска.
Предлагаю пользователям Хабра оценить данный рекламный ход, мнение ЛК в принципе уже было озвучено.
Тогда вопрос, насколько данная реклама вписывается в нормы бизнес-этики? Уточняю, реклама отображается и в режиме инкогнито Гугл Хрома, и не связана с моей историей поиска.
Предлагаю пользователям Хабра оценить данный рекламный ход, мнение ЛК в принципе уже было озвучено.
Я смотрю, вы любитель обобщать. Моё личное мнение — реклама как реклама, но хочу заметить, что я технарь, а не юрист и даже не маркетан. Нормы бизнес этики вам необходимо обсуждать с теми кто в этом разбирается. Сильно сомневаюсь, что пользователи Хабра — целевая аудитория таких обсуждений ;)
Ну хорошо, возможно это стоит вынести в отдельный пост и дать на оценку сообществу.
Нормы, на то и нормы, что приемлимы для большинства, я считаю Хабр довольно крупным сообществом и достаточным для подобной оценки.
Вполне возможно, что мои личные стандарты бизнес-этики и недобросовестной конкуренции отличаются от общепринятых, и данные рекламные па допустимы в жестоком мире антивирусного ПО.
Нормы, на то и нормы, что приемлимы для большинства, я считаю Хабр довольно крупным сообществом и достаточным для подобной оценки.
Вполне возможно, что мои личные стандарты бизнес-этики и недобросовестной конкуренции отличаются от общепринятых, и данные рекламные па допустимы в жестоком мире антивирусного ПО.
habrahabr.ru/company/mosigra/blog/247599/
Главный вопрос — пользоваться ли багами для победы. Ответ Дэвида — да, если баги одинаково влияют на двух игроков. Одинаково – это когда, например, из-за определённой особенности движка файтинга боец неуязвим в какой-то конкретный момент выполнения приёма. Неодинаково – это когда вы можете что-то сделать, и экран второго игрока погаснет.
Главный вопрос — пользоваться ли багами для победы. Ответ Дэвида — да, если баги одинаково влияют на двух игроков. Одинаково – это когда, например, из-за определённой особенности движка файтинга боец неуязвим в какой-то конкретный момент выполнения приёма. Неодинаково – это когда вы можете что-то сделать, и экран второго игрока погаснет.
Всем привет!
Что-то несмог пройти мимо, ибо возникли вопросы по статье, итак:
1)Как понял в ЛК считают чем больше наград получил АВ за последний год, тем скажем-так «круче» АВ, так?
Но мне кажется, что это в корне неправильно, во первых как тут было-уже написано в комменте, «Тесты бывают разные», не только по организации, но по своей методике, например редко-же проверяют всё в комплексе (Поправьте если я не прав !), тестят сигнатурный детект, реакцию на новые угрозы, самозащиту и т.д.
Но ведь если АВ например «Провалил» тест на что-то одно это-же вовсе не означает, что в комплексе он хуже другова АВ, таким образом я считаю можно сравнивать «Силу» АВ только в тестах по какой-то одной методике!
Пример, антивирус «А», за год победил в тестах «Х» которые показывают качество сигнатурного детекта столько-то раз и т.д.
2)Про график в статье, что-то вообще мало-чего понял, да красивые кружочки… Но что они показывают, понял только-что у ЛК кружочек больше-всех! :)
В коменте таблицу разумеется видел, но опять мало информации что за тесты, меня интересует тип тестов, т.е. сигнатурный детект, проактивная защита, или что-то ещё… Так-хоть картина будет больше видна сильных/слабых сторон АВ!
3)Непонятно как происходит оценка «Воровства детекта» в тестах и вообще происходит-ли такая оценка. Нехочу делать кому-то антирекламу, но пример Qihoo 360 смотрю аж 43% попадание в ТОП 3 (Из таблицы), НО делал я свои тесты (Любительские…), достаточно залить вирус на VT, если этот вирус кто-то детектит, то и Qihoo 360 начинает автоматом детектить через какое-то время!
Причём сам детект можно сбить банальным изменением пары некритичных для работы вируса байт в экзешнике :) Зато много отличных отзывов про этот АВ! ;)
4)Ну и четвёртое, вот мне интересно, а кому больше нужны все эти тесты, антивирусным компаниям, или пользователям (Т.е. потенциальным покупателям АВ)?
Поясню, что мне не понятно! Вот на сколько люди «Смотрят» на результаты этих-самых тестов?
Я например как потенциальных покупатель какого-то АВ, захожу на сайт антивирусного ПО, в общем-то практически везде написано «Неоднократный победитель Virus Bulletin», или отлично проявил себя в тесте Х. Но ведь покупатель не будет разбираться что за тесты, что даже за организация проводила тест и как?
Или всё-же я что-то непонимаю и результаты тестов как-то могут повлиять на продажу топовых АВ прежде всего?
P/S: Про рекламу с гугла, хоть к моему коменту отношения не имеет, но выступлю в этом случае в защиту ЛК:
Это рекламная сеть гугла – Там существуют алгоритмы (Гугловские) кому и как показывать рекламу, ЛК навряд-ли к этим алгоритмам имеет отношение, т.к. они могут только купить размещение своей рекламы, а дальше уже сама система Гугла решает как показывать рекламу…
Поэтому весь негатив лучше в адрес гугла, в этом случае!
В ЛК не работаю, также как и к индустрии АВ не имею никакого отношения, это для меня из разряда «Поболтать на форумах»! ;)
Что-то несмог пройти мимо, ибо возникли вопросы по статье, итак:
1)Как понял в ЛК считают чем больше наград получил АВ за последний год, тем скажем-так «круче» АВ, так?
Но мне кажется, что это в корне неправильно, во первых как тут было-уже написано в комменте, «Тесты бывают разные», не только по организации, но по своей методике, например редко-же проверяют всё в комплексе (Поправьте если я не прав !), тестят сигнатурный детект, реакцию на новые угрозы, самозащиту и т.д.
Но ведь если АВ например «Провалил» тест на что-то одно это-же вовсе не означает, что в комплексе он хуже другова АВ, таким образом я считаю можно сравнивать «Силу» АВ только в тестах по какой-то одной методике!
Пример, антивирус «А», за год победил в тестах «Х» которые показывают качество сигнатурного детекта столько-то раз и т.д.
2)Про график в статье, что-то вообще мало-чего понял, да красивые кружочки… Но что они показывают, понял только-что у ЛК кружочек больше-всех! :)
В коменте таблицу разумеется видел, но опять мало информации что за тесты, меня интересует тип тестов, т.е. сигнатурный детект, проактивная защита, или что-то ещё… Так-хоть картина будет больше видна сильных/слабых сторон АВ!
3)Непонятно как происходит оценка «Воровства детекта» в тестах и вообще происходит-ли такая оценка. Нехочу делать кому-то антирекламу, но пример Qihoo 360 смотрю аж 43% попадание в ТОП 3 (Из таблицы), НО делал я свои тесты (Любительские…), достаточно залить вирус на VT, если этот вирус кто-то детектит, то и Qihoo 360 начинает автоматом детектить через какое-то время!
Причём сам детект можно сбить банальным изменением пары некритичных для работы вируса байт в экзешнике :) Зато много отличных отзывов про этот АВ! ;)
4)Ну и четвёртое, вот мне интересно, а кому больше нужны все эти тесты, антивирусным компаниям, или пользователям (Т.е. потенциальным покупателям АВ)?
Поясню, что мне не понятно! Вот на сколько люди «Смотрят» на результаты этих-самых тестов?
Я например как потенциальных покупатель какого-то АВ, захожу на сайт антивирусного ПО, в общем-то практически везде написано «Неоднократный победитель Virus Bulletin», или отлично проявил себя в тесте Х. Но ведь покупатель не будет разбираться что за тесты, что даже за организация проводила тест и как?
Или всё-же я что-то непонимаю и результаты тестов как-то могут повлиять на продажу топовых АВ прежде всего?
P/S: Про рекламу с гугла, хоть к моему коменту отношения не имеет, но выступлю в этом случае в защиту ЛК:
Это рекламная сеть гугла – Там существуют алгоритмы (Гугловские) кому и как показывать рекламу, ЛК навряд-ли к этим алгоритмам имеет отношение, т.к. они могут только купить размещение своей рекламы, а дальше уже сама система Гугла решает как показывать рекламу…
Поэтому весь негатив лучше в адрес гугла, в этом случае!
В ЛК не работаю, также как и к индустрии АВ не имею никакого отношения, это для меня из разряда «Поболтать на форумах»! ;)
Спасибо за качественные вопросы! Отвечать тоже будем долго :)
1)Как понял в ЛК считают чем больше наград получил АВ за последний год, тем скажем-так «круче» АВ, так?… Но мне кажется, что это в корне неправильно, во первых как тут было-уже написано в комменте, «Тесты бывают разные»
Не совсем так. Считается нормированная успешность участия во всех известных тестах. Т.е. отношение числа успешных тестов (или по TOP3 или по TOP1) к числу тестов, в которых данный вендор принял участие. Делается это именно потому, что «тесты разные». Методики разные, набор сэмплов вредоносного ПО отличается от теста к тесту и так далее. Например, в одном тесте награда присуждается за 70% детектов и более, в другом — за 95% и более. По сути, единственное, что эти тесты объединяет — это призовые места. А вот «количество наград», точнее «количество тестов, в которых вендор принял участие» служит только базой для расчетов, а не показателем эффективности того или иного продукта.
В коменте таблицу разумеется видел, но опять мало информации что за тесты, меня интересует тип тестов, т.е. сигнатурный детект, проактивная защита, или что-то ещё… Так-хоть картина будет больше видна сильных/слабых сторон АВ!
сюда же:
Но ведь если АВ например «Провалил» тест на что-то одно это-же вовсе не означает, что в комплексе он хуже другова АВ, таким образом я считаю можно сравнивать «Силу» АВ только в тестах по какой-то одной методике!
В доке все тесты расписаны, там видно что есть как общие тесты «всего продукта», так и специализированные тесты восстановления системы от активного заражения, или защиты от банковской малвары, или от ложных срабатываний и т.д. Все их можно посмотреть по отдельности на сайтах тестовых лабораторий. Но так как задача стояла сделать комплексную оценку по результатам независимых тестов, нужно было их как-то объединить. В этом есть необходимость, так как, например, те самые тесты проактивной защиты дают чисто теоретический результат. Никто не будет специально отключать половину защитных функций на рабочей системе. Это не является моделью работы реального продукта в реальных условиях. Таких нюансов много. То есть тестовые лаборатории создают модель реального мира, в котором защитное ПО борется с вредоносными программами. У них неплохо получается, но это никогда не 100% точная модель. Из-за этого даже тесты по «одной методике» сложно сравнивать между собой. Поэтому мы поднялись на уровень выше.
3)Непонятно как происходит оценка «Воровства детекта» в тестах и вообще происходит-ли такая оценка.
«Воровство детекта» — это реально существующая проблема, но она не выявляется в тестах. Пример, собственно, вы сами и привели. Опять же, если какой-то вендор что-то «накрутил», то в паре тестов он получит неплохой результат, но в других тестах неминуемо проиграет.
4)Ну и четвёртое, вот мне интересно, а кому больше нужны все эти тесты, антивирусным компаниям, или пользователям (Т.е. потенциальным покупателям АВ)?… Но ведь покупатель не будет разбираться что за тесты, что даже за организация проводила тест и как?… Или всё-же я что-то непонимаю и результаты тестов как-то могут повлиять на продажу топовых АВ прежде всего?
Покупатель разбирается так, как считает нужным, мы можем только что-то рекомендовать. Кому-то важно оценить все детали, кому-то — чтобы техподдержка по телефону отвечала, кто-то еще какими-то другими доводами руководствуется. Важнее всего то, что работа тестовых лабораторий — это единственный независимый источник информации об эффективности работы защитного ПО. У нас к этому «источнику» тоже иногда бывает немало претензий, но суть от этого не меняется.
Мы достигли очень хорошего результата в независимых тестах в целом, за счет новых технологий, более эффективной работы вирусных аналитиков и других мер. Результатом очень гордимся, и планируем продолжать в том же духе. Поможет ли это продажам? Посмотрим :) Как я уже говорил, тесты отчасти отражают реальную жизнь, а значит высокие результаты в них конвертируются в бОльшее количество людей, которые довольны продуктом. Независимо от того, знают они о независимых тестах или нет.
1)Как понял в ЛК считают чем больше наград получил АВ за последний год, тем скажем-так «круче» АВ, так?… Но мне кажется, что это в корне неправильно, во первых как тут было-уже написано в комменте, «Тесты бывают разные»
Не совсем так. Считается нормированная успешность участия во всех известных тестах. Т.е. отношение числа успешных тестов (или по TOP3 или по TOP1) к числу тестов, в которых данный вендор принял участие. Делается это именно потому, что «тесты разные». Методики разные, набор сэмплов вредоносного ПО отличается от теста к тесту и так далее. Например, в одном тесте награда присуждается за 70% детектов и более, в другом — за 95% и более. По сути, единственное, что эти тесты объединяет — это призовые места. А вот «количество наград», точнее «количество тестов, в которых вендор принял участие» служит только базой для расчетов, а не показателем эффективности того или иного продукта.
В коменте таблицу разумеется видел, но опять мало информации что за тесты, меня интересует тип тестов, т.е. сигнатурный детект, проактивная защита, или что-то ещё… Так-хоть картина будет больше видна сильных/слабых сторон АВ!
сюда же:
Но ведь если АВ например «Провалил» тест на что-то одно это-же вовсе не означает, что в комплексе он хуже другова АВ, таким образом я считаю можно сравнивать «Силу» АВ только в тестах по какой-то одной методике!
В доке все тесты расписаны, там видно что есть как общие тесты «всего продукта», так и специализированные тесты восстановления системы от активного заражения, или защиты от банковской малвары, или от ложных срабатываний и т.д. Все их можно посмотреть по отдельности на сайтах тестовых лабораторий. Но так как задача стояла сделать комплексную оценку по результатам независимых тестов, нужно было их как-то объединить. В этом есть необходимость, так как, например, те самые тесты проактивной защиты дают чисто теоретический результат. Никто не будет специально отключать половину защитных функций на рабочей системе. Это не является моделью работы реального продукта в реальных условиях. Таких нюансов много. То есть тестовые лаборатории создают модель реального мира, в котором защитное ПО борется с вредоносными программами. У них неплохо получается, но это никогда не 100% точная модель. Из-за этого даже тесты по «одной методике» сложно сравнивать между собой. Поэтому мы поднялись на уровень выше.
3)Непонятно как происходит оценка «Воровства детекта» в тестах и вообще происходит-ли такая оценка.
«Воровство детекта» — это реально существующая проблема, но она не выявляется в тестах. Пример, собственно, вы сами и привели. Опять же, если какой-то вендор что-то «накрутил», то в паре тестов он получит неплохой результат, но в других тестах неминуемо проиграет.
4)Ну и четвёртое, вот мне интересно, а кому больше нужны все эти тесты, антивирусным компаниям, или пользователям (Т.е. потенциальным покупателям АВ)?… Но ведь покупатель не будет разбираться что за тесты, что даже за организация проводила тест и как?… Или всё-же я что-то непонимаю и результаты тестов как-то могут повлиять на продажу топовых АВ прежде всего?
Покупатель разбирается так, как считает нужным, мы можем только что-то рекомендовать. Кому-то важно оценить все детали, кому-то — чтобы техподдержка по телефону отвечала, кто-то еще какими-то другими доводами руководствуется. Важнее всего то, что работа тестовых лабораторий — это единственный независимый источник информации об эффективности работы защитного ПО. У нас к этому «источнику» тоже иногда бывает немало претензий, но суть от этого не меняется.
Мы достигли очень хорошего результата в независимых тестах в целом, за счет новых технологий, более эффективной работы вирусных аналитиков и других мер. Результатом очень гордимся, и планируем продолжать в том же духе. Поможет ли это продажам? Посмотрим :) Как я уже говорил, тесты отчасти отражают реальную жизнь, а значит высокие результаты в них конвертируются в бОльшее количество людей, которые довольны продуктом. Независимо от того, знают они о независимых тестах или нет.
Здравствуйте, спасибо за такие развёрнутые ответы!
Док. в статье разумеется видел, но особо не вникал что-там, ибо с английским плохо дружу, но тех. литературу при необходимости в принципе могу читать с переводчиком, ну-да ладно прочитал его более детально и опять таки появились вопросы:
1)Ведь результаты антивирусов в этих тестах могут-лишь незначительно отличаться между собой, например между 3-им местом и 5-ым, 10-ым (Это как пример) может-быть разница-то всего-лишь один процент, а-то и меньше! Вот на сколько это показывает уровень отличия технологий, незнаю?
Сразу скажу, что я не эксперт в этом деле, я не отслеживаю где-какие результаты, но всё-же что-бы не быть голословным, про такое мизирное расхождение в тестах было сказано в статье «Сказки антивирусного леса» (http://habrahabr.ru/post/252755/), даже приводились примеры…
2)Теперь про документ (пдф-ка к статье), глянул более детально результаты и сразу появились вопросы:
— Почему так разнятся результаты?
Поясню что конкретно непонятно:
Ну-вот например антивирус Bitdefender – 63% попадание в топ, однако АВ на его движке G-Data – уже 30%, следующий АВ опять таки на движке бита BullGuard – 31%, F-Secure движок бита и вообще уже 14%?
Эти АВ отличаются-то мизирно между собой BullGuard – Это движок бита + Проактивная защита и файервол от Оутпоста, F-Secure – тот-же бит практически + там по мойму свои наработки файервола и проактивки. Для меня небольшой интерес представляет G-Data, т.к. там более двух движков может-быть (В зависимости от лицензии), если ничего не путаю даже в своё время у них двиг и от ЛК был-нет? Хотя может-быть путаю с TrustPort, но не важно пост не об этом! ;)
В общем-то согласен только в одном, если продукт побеждает в тестах регулярно, то в плане технологий как-минимум достойное решение (А в отношении к ЛК, в этом плане всегда относился с уважением), но вот насколько можно сравнивать АВ, используя конкретно предложенную методологию, для меня не понятно?
Док. в статье разумеется видел, но особо не вникал что-там, ибо с английским плохо дружу, но тех. литературу при необходимости в принципе могу читать с переводчиком, ну-да ладно прочитал его более детально и опять таки появились вопросы:
1)Ведь результаты антивирусов в этих тестах могут-лишь незначительно отличаться между собой, например между 3-им местом и 5-ым, 10-ым (Это как пример) может-быть разница-то всего-лишь один процент, а-то и меньше! Вот на сколько это показывает уровень отличия технологий, незнаю?
Сразу скажу, что я не эксперт в этом деле, я не отслеживаю где-какие результаты, но всё-же что-бы не быть голословным, про такое мизирное расхождение в тестах было сказано в статье «Сказки антивирусного леса» (http://habrahabr.ru/post/252755/), даже приводились примеры…
2)Теперь про документ (пдф-ка к статье), глянул более детально результаты и сразу появились вопросы:
— Почему так разнятся результаты?
Поясню что конкретно непонятно:
Ну-вот например антивирус Bitdefender – 63% попадание в топ, однако АВ на его движке G-Data – уже 30%, следующий АВ опять таки на движке бита BullGuard – 31%, F-Secure движок бита и вообще уже 14%?
Эти АВ отличаются-то мизирно между собой BullGuard – Это движок бита + Проактивная защита и файервол от Оутпоста, F-Secure – тот-же бит практически + там по мойму свои наработки файервола и проактивки. Для меня небольшой интерес представляет G-Data, т.к. там более двух движков может-быть (В зависимости от лицензии), если ничего не путаю даже в своё время у них двиг и от ЛК был-нет? Хотя может-быть путаю с TrustPort, но не важно пост не об этом! ;)
В общем-то согласен только в одном, если продукт побеждает в тестах регулярно, то в плане технологий как-минимум достойное решение (А в отношении к ЛК, в этом плане всегда относился с уважением), но вот насколько можно сравнивать АВ, используя конкретно предложенную методологию, для меня не понятно?
Sign up to leave a comment.
Как нас тестируют