Толпотворение.
Перечислять все «мняшки», которые принёс нам Интернет - впустую потратить жизнь, поскольку всё равно всего не вспомнишь, а завтра их прибудет ровно столько же. Но есть одна концептуальная вещь, которую переоценить никак не получится и потому она заслуживает отдельного внимания. Вещь эта - краудсорсинг.
Деталями грузить не буду - подробности читайте в Википедии по ссылке сверху (кстати, Википедия тоже краудсорсинговый проект) или яндеглите. Вкратце: всемирная сеть позволяет большому количеству людей из разных концов планеты очень быстро собираться для объединения усилий и решения какой-то сложной задачи. Коллективный разум, подкреплённый гигагерцами, гигабитами и терабайтами компьютеров и каналов связи. Технически - распределённые вычисления. Пример - хорошо помню, как в конце 90-х многие на ночь подключали свои машины к SETI@Home - некоммерческому проекту поиска радиосигналов внеземных цивилизаций. Проект до сих ещё как работает -1,2млн. участников суммарной процессорной мощностью 1,6 петафлопс.
Любопытно, что сетевой краудсорсинг (дословно - «толпотворение») применим практически в каждой области. И секюрити тому не исключение. Недавние примеры из нашей практики - международный мозговой штурм по поводу тайны зашифрованного вредоносного функционала Gauss и решение загадки фреймворка Duqu. За последнее, кстати, получили лестную оценку на darkreading.com. Однако эти случаи не показатель - догадываетесь как нам удаётся успешно обрабатывать 125тыс. образцов малвары каждый день? Ну, роботы и разные технологии автоматизации и потокового анализа, конечно, помогают, однако статистическо-аналитическую пищу для них поставляете… вы! Да! Это действительно так - по принципу «ты мне, я тебе» наши пользователи помогают нам и, разумеется, друг другу в деле борьбы с мировым кибер-злом, в частности с неизвестными угрозами! Причём помогают анонимно, добровольно, с явно выраженным согласием и без влияния на производительность компьютера.
Сейчас расскажу как.
Технологическая основа нашего толпотворения - облачная система KSN (видео, подробности). Подписаться на неё можно при установке KIS, а выключить-включить в настройках. Рассмотрим на примере как здесь работает краудсорсинг. Допустим, разработчик создал программу и вывесил в онлайн-каталоге. Программа заинтересовала посетителей и её начали скачивать. В процессе её использования антивирусный сканер зла не обнаруживает, однако проактивная защита выявляет некую подозрительную активность. Тогда KIS пересылает данные (без какой-либо персональной информации) об этом инциденте в KSN. Там они «прогоняются» через аналитические системы и базы знаний (аккумулируют запросы от миллионов других участников KSN) и на компьютер возвращается вердикт - имеет ли место ранее неизвестная атака. Если определённый вердикт невозможен, то пользователь может увидеть репутацию программы для самостоятельного принятия решения. При этом вся процедура «облачной» проверки занимает всего несколько секунд (а то и быстрее - в зависимости от скорости коннекта и загруженности KSN).
Аналогично проверяются веб-сайты. Если, например, эвристик анти-фишингового модуля по косвенным признакам подозревает сайт в нечистоплотности, то эти данные также отправляются в KSN, там анализируются и на основе репортов других участников "облака" выдаётся вердикт. Вердикт потом можно видеть в окошке браузера (если включён модуль проверки ссылок):
Правда, при таком варианте краудсорсинга всплывают несколько проблем.
Трудные случаи, которые не поддаются автоматическому анализу (а их каждый день у нас тысячи) всё равно требуют вмешательства аналитика. Представьте себе тысячи подозрительных файлов с одинаковыми по значимости характеристиками и ожидающих очереди на обработку. Чем заняться в первую очередь? Можно, конечно, топорно «долбать» файлы последовательно, по мере их поступления. Так, собственно, многие антивирусные компании до сих пор и делают и … узнают об эпидемиях из новостей. В общем - не наш вариант :) Здесь нужна некая технология для расстановки приоритетов входящему потоку подозрительных объектов. Ага, и снова краудсорсинг (2.0)!
Как отсортировать обратную связь участников KSN? На основе рейтинга источника! Логично предположить, что вердикт эксперта должен иметь больший вес, чем вердикт начинающего. Но как различить их?
Для этого уже несколько лет мы развиваем технологию категоризации пользователей (а недавно получили на неё три патента в США - 8209758, 8214904, 8214905). Цель - оценивать уровень экспертности по ряду косвенных признаков при установке (статическая оценка) и использовании (динамическая оценка) антивируса. Например: тип установки (обычная или расширенная), включение интерактивного режима, используемое ПО и оборудование. В последующем уровень экспертизы меняется на основании анализа активностей пользователя, в том числе по количеству и качеству выявленных угроз, доле ошибочных сообщений, скорости реакции и пр. Разумеется, чем выше рейтинг источника, тем больше вес его оценки и, соответственно выше приоритет обработки данных от него. При этом оценки не-экспертов тоже учитываются, но уже на следующем этапе и при «прочих равных».
На самом деле доля пользователей, отвечающих критериям «эксперта» - всего около 5%. Но в абсолютном исчислении это несколько миллионов достаточно квалифицированных людей, способных обеспечить требуемый уровень экспертизы для выявления неизвестных угроз. В будущем, может быть даже в следующей версии KIS, думаем выделять особо отличившихся участников KSN специальными бейджами, которыми можно будет украсить интерфейс продукта и даже похвастаться в фейсбуке :)
Вот таким образом пользователи совместными усилиями достаточно эффективно борются с кибер-злом! При этом каждый участник, вне зависимости от его «взноса» в общее дело пользуется всеми благами KSN.
Деталями грузить не буду - подробности читайте в Википедии по ссылке сверху (кстати, Википедия тоже краудсорсинговый проект) или яндеглите. Вкратце: всемирная сеть позволяет большому количеству людей из разных концов планеты очень быстро собираться для объединения усилий и решения какой-то сложной задачи. Коллективный разум, подкреплённый гигагерцами, гигабитами и терабайтами компьютеров и каналов связи. Технически - распределённые вычисления. Пример - хорошо помню, как в конце 90-х многие на ночь подключали свои машины к SETI@Home - некоммерческому проекту поиска радиосигналов внеземных цивилизаций. Проект до сих ещё как работает -1,2млн. участников суммарной процессорной мощностью 1,6 петафлопс.
Любопытно, что сетевой краудсорсинг (дословно - «толпотворение») применим практически в каждой области. И секюрити тому не исключение. Недавние примеры из нашей практики - международный мозговой штурм по поводу тайны зашифрованного вредоносного функционала Gauss и решение загадки фреймворка Duqu. За последнее, кстати, получили лестную оценку на darkreading.com. Однако эти случаи не показатель - догадываетесь как нам удаётся успешно обрабатывать 125тыс. образцов малвары каждый день? Ну, роботы и разные технологии автоматизации и потокового анализа, конечно, помогают, однако статистическо-аналитическую пищу для них поставляете… вы! Да! Это действительно так - по принципу «ты мне, я тебе» наши пользователи помогают нам и, разумеется, друг другу в деле борьбы с мировым кибер-злом, в частности с неизвестными угрозами! Причём помогают анонимно, добровольно, с явно выраженным согласием и без влияния на производительность компьютера.
Сейчас расскажу как.
Технологическая основа нашего толпотворения - облачная система KSN (видео, подробности). Подписаться на неё можно при установке KIS, а выключить-включить в настройках. Рассмотрим на примере как здесь работает краудсорсинг. Допустим, разработчик создал программу и вывесил в онлайн-каталоге. Программа заинтересовала посетителей и её начали скачивать. В процессе её использования антивирусный сканер зла не обнаруживает, однако проактивная защита выявляет некую подозрительную активность. Тогда KIS пересылает данные (без какой-либо персональной информации) об этом инциденте в KSN. Там они «прогоняются» через аналитические системы и базы знаний (аккумулируют запросы от миллионов других участников KSN) и на компьютер возвращается вердикт - имеет ли место ранее неизвестная атака. Если определённый вердикт невозможен, то пользователь может увидеть репутацию программы для самостоятельного принятия решения. При этом вся процедура «облачной» проверки занимает всего несколько секунд (а то и быстрее - в зависимости от скорости коннекта и загруженности KSN).
Аналогично проверяются веб-сайты. Если, например, эвристик анти-фишингового модуля по косвенным признакам подозревает сайт в нечистоплотности, то эти данные также отправляются в KSN, там анализируются и на основе репортов других участников "облака" выдаётся вердикт. Вердикт потом можно видеть в окошке браузера (если включён модуль проверки ссылок):
Правда, при таком варианте краудсорсинга всплывают несколько проблем.
Трудные случаи, которые не поддаются автоматическому анализу (а их каждый день у нас тысячи) всё равно требуют вмешательства аналитика. Представьте себе тысячи подозрительных файлов с одинаковыми по значимости характеристиками и ожидающих очереди на обработку. Чем заняться в первую очередь? Можно, конечно, топорно «долбать» файлы последовательно, по мере их поступления. Так, собственно, многие антивирусные компании до сих пор и делают и … узнают об эпидемиях из новостей. В общем - не наш вариант :) Здесь нужна некая технология для расстановки приоритетов входящему потоку подозрительных объектов. Ага, и снова краудсорсинг (2.0)!
Как отсортировать обратную связь участников KSN? На основе рейтинга источника! Логично предположить, что вердикт эксперта должен иметь больший вес, чем вердикт начинающего. Но как различить их?
Для этого уже несколько лет мы развиваем технологию категоризации пользователей (а недавно получили на неё три патента в США - 8209758, 8214904, 8214905). Цель - оценивать уровень экспертности по ряду косвенных признаков при установке (статическая оценка) и использовании (динамическая оценка) антивируса. Например: тип установки (обычная или расширенная), включение интерактивного режима, используемое ПО и оборудование. В последующем уровень экспертизы меняется на основании анализа активностей пользователя, в том числе по количеству и качеству выявленных угроз, доле ошибочных сообщений, скорости реакции и пр. Разумеется, чем выше рейтинг источника, тем больше вес его оценки и, соответственно выше приоритет обработки данных от него. При этом оценки не-экспертов тоже учитываются, но уже на следующем этапе и при «прочих равных».
На самом деле доля пользователей, отвечающих критериям «эксперта» - всего около 5%. Но в абсолютном исчислении это несколько миллионов достаточно квалифицированных людей, способных обеспечить требуемый уровень экспертизы для выявления неизвестных угроз. В будущем, может быть даже в следующей версии KIS, думаем выделять особо отличившихся участников KSN специальными бейджами, которыми можно будет украсить интерфейс продукта и даже похвастаться в фейсбуке :)
Вот таким образом пользователи совместными усилиями достаточно эффективно борются с кибер-злом! При этом каждый участник, вне зависимости от его «взноса» в общее дело пользуется всеми благами KSN.