Результаты теста проактивной антивирусной защиты (Anti-Malware, июнь 2010)

  Краткое содержание:

• Введение
• Измерение эффективности проактивной антивирусной защиты
• Итоговые результаты теста
• Изменение эффективности эвристики в ходе теста
• Сигнатуры или эвристика?
• Анализ изменений в сравнении с предыдущими тестами

Основные результаты тестирования (детектирование - ложные срабатывания)

Введение

  В тестировании эффективности проактивной антивирусной защиты принимали участие 19 наиболее популярных комплексных антивирусных программ класса Internet Security, среди которых:

1. Avast Internet Security 5.0
2. AVG Internet Security 9.0
3. Avira AntiVir Premium Security Suite 9.0
4. BitDefender Internet Security 2010
5. Comodo Internet Security 4.0
6. Dr.Web Security Space 6.0
7. Eset Smart Security 4.0
8. F-Secure Internet Security 2010
9. G DATA Internet Security 2010
10. Kaspersky Internet Security 2010
11. Microsoft Security Essentials 1.0
12. Norton Internet Security 2010
13. Outpost Security Suite Pro 2009 (6.7.3)
14. Panda Internet Security 2010
15. PC Tools Internet Security 2010
16. Sophos Anti-Virus 9.0
17. Trend Micro Internet Security 2010
18. VBA32 Personal 3.12
19. ZoneAlarm Security Suite 2010

  Тест антивирусов проводился под операционной системой Windows XP SP3 в период с 1 по 28 апреля 2010 года четко в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).

  Для проведения теста во время заморозки антивирусных баз была собрана коллекция из 2617 уникальных самплов новейших вредоносных программ и коллекция из 19980 чистых файлов.

Измерение эффективности проактивной антивирусной защиты

  На рисунке 1 и в таблице 1 представлены результаты обнаружения неизвестных вредоносных программ различными антивирусами и их уровень ложных срабатываний, как обратная сторона любой проактивной технологии.

  Важно! Согласно текущей схеме награждения для получения высоких наград необходимо не только показать высокий уровень детектирования, но и минимальный уровень ложных срабатываний.

  К сожалению, в этом году ни один антивирусный продукт не смог показать результаты, достаточные для получения наград Gold Proactive Protection Award и Platinum Proactive Protection Award. Во многом это произошло по причине высокого уровня ложных срабатываний у большинства протестированных антивирусов, особенно тех, чьи результаты детектирования превысили 60%. Те же антивирусы, которые практически не имеют ложных срабатываний, не сумели показать очень высокий уровень детектирования.

  Как видно из таблицы 1 абсолютным лидером по уровню обнаружения оказался F-Secure Internet Security, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким – 68%. Однако очень высокий уровень ложных срабатываний на уровне 3% не позволил этому антивирусу побороться за награды. Аналогичная ситуация и с Avira AntiVir Premium Security Suite, большое количество ложных срабатываний сводит на нет шансы на награды, даже при обнаружении 65% образцов вредоносных программ в коллекции.

  Явные проблемы с ложными срабатываниями есть также у Sophos Anti-Virus (0.84%) и Comodo Internet Security (0.69%), что, несмотря на высокие показатели по детектированию, позволило им рассчитывать лишь на Bronze Proactive Protection Award.

   Лучшим антивирусов по качеству эвристики оказался AVG Internet Security, который показал очень высокий уровень детектирования при сравнительно небольшом уровне ложных срабатываний (65% и 0.17% соответственно). Близкие к лидеру результаты показали G DATA Internet Security и BitDefender Internet Security. Эта тройка лидеров получила награду Silver Proactive Protection Award.

  Также награду Silver Proactive Protection Award получили Kaspersky Internet Security, ZoneAlarm Security Suite 2010, Microsoft Security Essentials, Trend Micro Internet Security и Avast Internet Security 5.0. Результаты этой пятерки антивирусов очень близки между собой, их уровень обнаружения составил 41-48%, а уровень ложных срабатываний оказался от 0% до 0.03% - минимальных значениях для данного теста.

  Остальные 7 протестированных антивирусов, в числе которых Norton Internet Security, Eset Smart Security, PC Tools Internet Security, Dr.Web Security Space, VBA32 Personal, Panda Internet Security и Outpost Security Suite Pro, показали удовлетворительный результат и получили награду Bronze Proactive Protection Award.

Итоговые результаты тестирования и награды

Изменение эффективности эвристики в ходе теста

  Так как в соответствии с методологией в тесте использовалась месячная коллекция новых вредоносных программ (собранная с 1 по 28 апреля 2010 года), стало возможным проверить, как изменяется эффективность работы различных эвристиков во времени. Для этого коллекция была разбита по времени поступления образцов на 4 равные части, по неделе на каждую.

  Таким образом, на рисунке 2 и в таблице 2 представлены данные по эффективности работы эвристиков на недельных коллекциях.

  Как видно из таблицы 2, практически у всех антивирусов резко падает уровень обнаружения на 4-й недельной коллекции. У многих антивирусных продуктов наблюдается аномальное повышение уровня обнаружения на 2-й и 3-й недельных коллекциях, особенно это выражено среди аутсайдеров.

Сигнатуры или эвристика?

  В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста (8 мая 2010). В результате фиксировалась эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике. Это позволило увидеть, какую роль в обеспечении общего уровня детектирования антивирусов играет той или иной компонент (см. рисунок 3).

  Диагональная линия на рисунке 3 означает уровень 100% детектирования новых вредоносных программ. Приблизиться к нему можно при помощи эффективной работы различных компонент антивирусных защиты или их сбалансированной работы.

  Антивирусы, попавшие в темно-оранжевую (80-100%) и светло-оранжевую (60-80%) зоны, показали отличный и хороший уровень обнаружения новых вирусов (возрастом от 1 до 5 недель).

  Антивирусные продукты F-Secure Internet Security, Sophos Anti-Virus, AVG Internet Security, Avira AntiVir Premium Security Suite, Comodo Internet Security - сделали это в основном за счет вклада проактивного компонента.

  Антивирусы Outpost Security Suite Pro, Panda Internet Security, Dr.Web Security Space, PC Tools Internet Security и Avast Internet Security добились того же в основном за счет сигнатурного компонента.

  Самыми сбалансированными в этом отношении оказались антивирусы Kaspersky Internet Security, ZoneAlarm Security Suite, Microsoft Security Essentials, Trend Micro Internet Security, в которых оба компонента отработали одинаково эффективно, а общий уровень обнаружения вредоносных программ оказался отличным.

Лучшими по обнаружению новых вредоносных программ оказались Kaspersky Anti-Virus (99.8%), G DATA Internet Security (99.4%), BitDefender Internet Security (98.4%), Avira AntiVir Premium Security Suite (96.8%) и Avast Internet Security (95.9%).

Анализ изменений в сравнении с предыдущими тестами

  По традиции мы решили проанализировать динамику результатов наших тестов на эффективность проактивной антивирусной защиты за 2009-2010 годы. Для этого к результатам этого теста были добавлены результаты мартовского теста за 2009 год.

  Как видно на рисунке 5 эффективность эвристических компонентов у многих протестированных антивирусов заметно ухудшилась. Особенно снизились результаты у антивирусов Dr.Web и Eset, Norton и Avast.

  Если дополнительно посмотреть на данные позапрошлого аналогичного теста за 2007 год, то виден разворот тренда. В 2009 году результаты у многих вендоров росли, а теперь снижаются. Исключениями можно считать, пожалуй, только F-Secure, AVG и Sophos, результаты которых улучшились.

  Что касается общего уровня детектирования новых вредоносных программ, то здесь ситуация более стабильная. Хотя многие вендоры стараются улучшать свои показатели, состав лидеров остается практически неизменным.

  Как видно из рисунка 6, качественный рывок по общему уровню обнаружения за последний год сделали два вендора - Trend Micro и Agnitum (продукты Outpost). Наибольшее ухудшение общего уровня обнаружения отмечено у продуктов Norton, Eset и F-Secure (за счет смены у F-Secure лицензируемого антивирусного движка).

  Сергей Ильин, управляющий партнер Anti-Malware.ru:

  «Мы проводим подобные тесты с 2007 года и до последнего времени результаты в целом по индустрии росли. Проактивные эвристические технологии обнаружения вредоносных программ становились эффективнее. Судя по всему, в этом году этому пришел конец, и мы наблюдаем переломный момент. Привычная и проверенная эвристика более не становится эффективнее, а даже напротив, уровень детектирования за счет этой составляющей стал снижаться.

  Причин для такого изменения тренда несколько. Во-первых, скорости создания новых образцов вредоносных программ неизбежно сводит все усилия по разработке новых проактивных алгоритмов детектирования вредоносных файлов к неким сигнатурам, но в другой обертке. Реальной проактивной защиты пользователей при этом уже нет. Во-первых, вендоры массово занялись «облачными» и поведенческими технологиями, сделав ставку на связанную с ними быстроту обеспечение детекта. Этот подход, с моей точки зрения, является действительно более перспективным в силу целого ряда причин, поэтому в ближайшие годы нас ожидает некоторая эволюция самого понятия проактивности».

  Василий Бердников, руководитель тестовой лаборатории Anti-Malware.ru:

  «Эвристический модуль - важный компонент современной комплексной защиты от вредоносных программ, который позволяет повысить качество защиты пользовательского ПК от вредоносных программ. Но при этом данный модуль не должен мешать работе легитимных приложений, то есть не давать ложное срабатывание на программы, не являющиеся вредоносными. Качество работы эвристического модуля тем выше, чем выше процент опознания вредоносных файлов и ниже процент ложных срабатываний. Как видно из результатов тестирования, некоторые продукты имеют как высокий уровень детектирования, так и высокий уровень ложных срабатываний, что не есть хорошо. В целом, около половины протестированных антивирусов имеют достаточно высокий процент детектирования и хорошие результаты по ложным срабатываниям, что позволяет эффективно противостоять угрозам из сети Интернет».

  Вячеслав Русаков, эксперт Anti-Malware.ru:

  «Текущая ситуация в антивирусной индустрии следующая – сигнатурные методы обнаружения практически не работают, и это ни для кого не секрет. Из-за частого обновления вредоносного кода, сигнатуры, добавляемые в базы антивирусных продуктов, мертвы еще до своего рождения. Поэтому на первый план выходят проактивные методы обнаружения. Эвристические, эмуляторно-эвристические, поведенческие алгоритмы – первый слой противодействия новейшему вредоносному коду. Однако не все так просто и антивирусным компаниям приходится искать компромисс между уровнем детектирования и количеством ложных срабатываний, которых должно быть минимальное количество.

  Данный тест отлично иллюстрирует сказанное мной выше в последнем предложении. Большинство антивирусных продуктов имеют довольно средний процент проактивного обнаружения при неплохом уровне ложных срабатываний. У некоторых уровень детектирования несколько выше, но и количество ложных срабатываний просто зашкаливает (F-Secure, Avira – яркие представители). Есть и те, у которых процент проактивного детектирования совсем мал, очевидно, эти компании не уделяют данным технологиям достаточного внимания или им не хватает квалифицированного персонала (Norton, Eset и так далее).

  В целом ситуация относительно печальная и если вендоры не обратят внимание на эту проблему прямо сейчас, то в ближайшем будущем (на самом деле, уже «вчера») их ожидают терабайты «мертвых тел», которые необходимо добавить в базы при полнейшем отсутствии проактивного детектирования у конечного пользователя».