Ну вот опять.
"It does not matter how MUCH data you collect. What matters is having the EYEBALLS to READ that data".
(с) "Не важно, как МНОГО у вас данных. Важно, сколько у вас ГЛАЗ, чтобы их ЧИТАТЬ".
Человек очень злится на Сноудена и вообще считает. что огромные массивы данных собранные американским госдепом АНБ и ЦРУ некому анализировать - посему сбор информации в интернетах никакого вреда не несет. Вообще, это характерная и очень распространенная точка зрения. При этом за фасадом яркой и парадоксальной мысли остается несколько элементарных соображений.
1. Мы уже давно умеем работать с огромными массивами информации - информационные фильтры, поисковые системы, ключевые слова, каталоги и рубрикаторы изобретены именно для этой цели (не говоря уже о таких хитромудрых инструментах как искусственный интеллект. системы распознавания образов и прочие нейронные сети). если бы этого не было - любой человек запутался бы уже в библиотеке районного масштаба и не смог бы извлечь оттуда никакой информации вообще.
(кстати, интересное следствие - которое я уже где-то упоминал - при работе с большими массивами информации ее организованность и связность гораздо важнее ее объема)
2. В оперативной работе подход к анализу информации такого рода идет "с другого конца" - вряд ли кто-то будет просеивать 100500 писем с гугла в поисках ключевых слов "Талибан", "бомба" и "Убить Обаму". Все проще. Мы находим зацепку в реальном мире - ее всегда можно найти - и с ее помощью распускаем весь свитер. Например, известен человек вхожий в какую-нибудь подпольную группу. Проанализировав его почтовый ящик и состав соцсетей можно определить граф его социальных связей - необязательно даже анализировать контент - сам факт связи с другими людьми может рассказать много любопытного. Если известно два-три члена группы, то составляя такие социографы на каждого из них и анализируя пересечения можно такой социальной триангуляцией вычислить всю остальную группу, а так же связи этой группы с другими группами.
Порассуждаем еще. Если есть доступ к базе звонков с мобильных телефонов можно проводить подобные анализы еще точнее - причем даже если пользователи имеют анонимные симки и пользуются простенькими дешевыми телефонами. А уж если они настолько глупы, что используют смартфоны, которые кроме звонков чекинят свои координаты по GPS... Но даже без GPS можно определять положение абонента с точностью до соты (от одного до пяти километров) - что тоже дает богатые возможности для анализа.
Зацепкой в реальной жизни может служить не конкретный член группы, а, например, теракт как таковой. Проанализировать картину звонков абонентов вокруг эпицентра теракта - не такая уж и сложная задача, особенно если под это дело написан специальный софт. Проследить перемещения наиболее подозрительных абонентов до и после взрыва - пусть даже с точностью до соты - тоже не проблема. Вот этот вот А засветившийся на месте взрыва появился с парковки, где предположительно парковалась взорванная машина. Машину туда пригнал B, который перед этим контактировал с C - а C уже засвечен, как любитель электроники и поваренной книги Анархиста. A, B и C за неделю до того пересекались с E, который снимал деньги со счета и передал эти деньги F, который в свою очередь закупал определенные химикаты и электронику, а так же с G, который уже имел судимость, как угонщик машин. И так далее. Подключив к анализу уличные камеры наблюдения и социальные сети мы получим фотографии A, B, C, D, E, F их контакты и выходы на другие социальные группы. Конечно, все не настолько прямолинейно, как я описал, но при условии, что мы можем пользоваться базами данных мобильной связи, гугла и фейсбука оперативная работа упрощается в разы.
Кроме того, учтите, что далеко не все члены подобных группировок будут соблюдать конспиративные правила и наверняка будут делать глупости - звонит со своего телефона, писать что-то открытым текстом, хвастаться в социосетях.
3. Что с этого всего обычному человеку?
Казалось бы - так ловят только террористов и бла-бла-бла. Но есть как минимум один пункт по которому стоит серьезно беспокоится. Сколько контрафактного (пиратского) контента мы все используем? Софт, игры, фильмы, книги, музыка... Составьте список (хотя бы мысленный) используемого вами контрафакта. Когда подобные технологии поставят на службу разнообразным ассоциациям по защите авторского права - они придут к нам. Завтра? Послезавтра?
Проблема с этим еще шире, чем может показаться. Когда "пиратству" будет положен конец, мы вместо сетевой демократии снова получим разделение общества на классы - те, кому будут доступны все блага за деньги и те, кому эти блага доступны не будут. Что-то мне подсказывает, что вторых будет намного больше. А это в свою очередь замедлит прогресс - если предположить, что гении, творцы и вообще одаренные люди рождаются с одинаковой плотностью, то их большая часть попадет в безблагодатный класс - и скорее всего не сможет реализовать свой потенциал.
Американцы, например, уже задумываются о нюансах социального разрыва между теми у кого смартфоны есть и теми, у кого их нет.
"...you can say "hey, they can't do those magical things now anyway so they do not lose anything," but in reality, as the world gets easier to manage for those with these handheld devices and they gain more time and money, the ones without slip relatively behind by virtue of not advancing, or advancing way slower. The poor get poorer, and the well-off will turn more and more of their world into appified services because it is already working so well"
(с)
http://www.techsociotech.com/2013/12/a-world-managed-by-apps-is-closed-for.html?m=1 С другой стороны - возможно, что лишение 99% современных развлечений в виде игр, кино, музыки и социальных приблуд пойдет новому поколению только во благо.
4. Практические примеры и внеклассное чтение.
http://habrahabr.ru/post/130982/ Медиакорпорации ищут новые способы борьбы с «пиратством» в интернете и активно финансируют исследования в этой области. Новый способ разработала группа исследователей Франции, Германии и США. Они предложили следить одновременно за IP-адресами пользователей P2P и IP-адресами абонентов Skype. Сравнивая время начала/окончания раздачи со сменой статуса пользователя Skype онлайн/офлайн, а также за сменой IP-адреса (если пользователь переместился географически), программа делает обоснованное предположение о личности «преступника» на данном IP-адресе. Информация берётся из профиля Skype.
Во время тестирования на выборке 100 тыс. юзеров Skype было обнаружено 765 IP-адресов, совпадающих с адресами в файлообменных сетях. Программа-валидатор подтвердила 52% этих случаев, выдав список имён 398 пользователей, которые одновременно используют Skype и BitTorrent. Почти все эти пользователи указали в профиле Skype свои настоящие имя и фамилию.
Мировая аудитория Skype составляет 560 млн человек. Таким образом, если применить их программу в таком масштабе, то можно вычислить огромное количество нарушителей, что сулит медиакорпорациям большие прибыли. Если сохранится та же пропорция (398 нарушителей на 100 тыс. пользователей), то среди всей аудитории Skype можно рассчитывать на 2,2 млн потенциальных плательщиков штрафа.
http://old.computerra.ru/own/kiwi/633851/ "...наиболее популярная социальная сеть Facebook уже показала себя как одна из главных угроз безопасности для тех сотрудников правоохранительных органов, которым приходится работать под прикрытием. Возрастающие риски разоблачения в первую очередь обусловлены такими сервисными приложениями Facebook, как распознавание лиц и возможность отмечать на фотографиях присутствующих на них людей (photo tagging).
По заключению исследовательской группы Килти, из-за эффективной конвергенции нескольких мощных инфотехнологий, включая биометрию, в недалёком будущем работа полицейских под прикрытием может стать по сути дела "невозможной". Если практически любого человека становится совсем несложно идентифицировать в онлайне, риски разоблачения внедрённых агентов оказываются недопустимо велики.
Поясняя, как работает недешёвая система прикрытий в настоящее время, Килти сказал: "Вы не можете вот так запросто внедрить полицейского в преступную группировку; на это нужно много времени, порой до семи лет, чтобы человек занял нужный пост в банде, и лишь тогда начинает поступать та информация, которая вам требуется". Как свидетельствуют результаты последних исследований, из-за инфотехнологий идентификации, получающих массовое распространение в интернете, дальнейшее движение в подобном направлении становится бесперспективным.
Группа Килти проводила развёрнутое исследование по масштабам влияния соцсетей совместно с полицией Нового Южного Уэльса, федеральной полицией АФП и рядом других спецслужб Австралии в период с декабря 2010 по февраль 2011. Как прокомментировал на конференции суть работы её руководитель, "мы делали обзор социальных сетей, чтобы попытаться оценить ту степень разоблачений, которые они обеспечивают уже сейчас - когда фото почти всех агентов загружены в интернет".
Результаты исследований и опросов показали, что социальными сетями ныне пользуются 90 процентов сотрудниц-женщин и 81 процент сотрудников-мужчин австралийских органов. Наиболее популярным сайтом среди сотрудников полиции оказался Facebook, за которым следует Twitter. Среди тех полицейских, которые пользуются соцсетями регулярно, примерно 47 процентов делают это ежедневно, в то время как другие 24 процента проводят тут время скорее еженедельно. При этом выяснилось, что абсолютно все респонденты в возрасте 26 лет и моложе сами выкладывали свои фотографии в интернет.
"Размышляя над полученными результатами, - комментирует Килти, - приходишь к выводу, что сегодняшние шестнадцатилетние юноши и девушки, которые в будущем могут стать полицейскими, уже полностью засвечены в интернете. А все те снимки, что уже выложены нынешними сотрудниками полиции, слишком поздно пытаться убрать из сети. Как только что-нибудь туда загружено, можно считать, что оно осталось там навсегда". Если говорить об общей массе опрошенных полицейских всех возрастных категорий, то было установлено, что примерно для 85 процентов людей их фотографии выкладывались на сайтах интернета не ими лично, а кем-либо другим из числа родственников, друзей и знакомых"
Ну или вот. Из той же статьи.
"..."жертвой разоблачения" стал один из ведущих аналитиков ЦРУ, на протяжении почти десяти последних лет отвечавший за отслеживание ситуации в афгано-пакистанском регионе вообще и за отыскание Усамы бен Ладена в частности.
Как сотрудник аналитического, а не оперативного подразделения этот человек прежде имел открытый (open) статус. То есть, как и подавляющее большинство правительственных служащих, он мог свободно использовать своё настоящее имя и представляться в качестве сотрудника ЦРУ. Благо число таких людей исчисляется многими и многими тысячами, ничего конкретного о своей работе они, как правило, не говорят, а значит, тоже пользуются всеми преимуществами анонимности, свойственной безликим персонажам из общей толпы.
Нормальная ситуация принципиально изменилась для этого аналитика (и его семьи) в середине лета нынешнего года. Поскольку американская пресса не без помощи спецслужб постоянно поддерживает в горячем состоянии лучше всего продающуюся тему - тему терроризма и неустанной борьбы с этой напастью, в начале июля новостное агентство Associated Press опубликовало довольно большой материал об этом человеке, назвав его главной фигурой, стоявшей в ЦРУ за поисками Усамы бен Ладена, установлением его точного местоположения в Пакистане, а значит, косвенно, и за последующим уничтожением "террориста номер один".
Всячески желая сохранить ореол тайны вокруг этого героя невидимого фронта, журналисты АР обозначили его только по второму имени, Джон, опустив основное первое имя и фамилию - в соответствии с требованием ЦРУ "не публиковать его полное имя и скрыть определённые детали биографии, дабы он не стал объектом возмездия" со стороны неприятеля.
Тем не менее для людей, умеющих анализировать, искать и сопоставлять информацию, идентифицировать личность Джона по крупицам опубликованных данных оказалось совсем несложно. Уже во вводной части статьи (даже не в биографии аналитика) промелькнула информация о том, что Джон стоял "как раз за кадром" на той исторической фотографии, где президент Обама и его команда национальной безопасности запечатлены сидящими в Ситуационной комнате во время операции по уничтожению бен Ладена.
Эта брошенная как бы мимоходом фраза (подчёркивающая и близость героя к самым верхам, и одновременно его таинственность) привлекла внимание Джона Янга, лидера известного веб-сайта Cryptome, специализирующегося на утечках информации со столь давних времён, когда проекта WikiLeaks ещё не было и в проекте.
Янг и его коллеги по Cryptome обратили внимание на характерный рисунок жёлтого галстука у человека, который, собственно, и попал-то в исторический кадр только этой частью своего гардероба. Далее на сайте Flickr, в потоке фотографий для прессы из Белого дома, по данному признаку на другом снимке из той же Ситуационной комнаты был выявлен очень высокий и статный мужчина с таким же галстуком - за спиной Хиллари Клинтон и Леона Панетты. В статье АР упоминалось, что в молодости Джон был видным баскетболистом в команде своего колледжа.
Наконец, того же самого человека выявили на официальной фотографии опять - и снова за спиной директора ЦРУ Леона Панетты, но теперь уже пару дней спустя на Капитолийском холме, где для конгрессменов был устроен частный информационный брифинг по ликвидации бен Ладена. В статье АР говорилось, что Джон также присутствовал на этой встрече. По совокупности накопленных свидетельств в Cryptome логично предположили, что высокий человек в жёлтом галстуке и "Джон из ЦРУ" - это одно и то же лицо.
Веб-публикация Cryptome о вычислении лица аналитика Джона была, конечно же, замечена и раструблена прессой. Вскоре вслед за этим журналист Аарон Гелл (Aaron Gell) из еженедельника New York Observer опубликовал уже свой большущий материал с подробностями о том, как их газета легко, всего за пару дней по фотографии идентифицировала не только подлинную личность Джона из ЦРУ, но и вообще составила практически полный профиль его частной жизни.
Настоящее имя аналитика Гелл узнал, правда, не благодаря интернету, а старым дедовским способом, которым пользуются все журналисты и частные детективы: поспрашивав среди информированных знакомых и показывая снимок человека. Когда же имя было установлено, оказалось достаточным просто забить его в Гугл - и поисковик тут же выдал тучу информации о личной жизни шпиона. Начиная с фотографий из выпускного альбома колледжа, где он учился, и вплоть до фотографий его дома в пригороде Вашингтона, школы, где учатся дети, регулярных занятий его жены и расписания спортивных игр, в которых участвует его сын.
Поскольку нарытой информации оказалось не просто много, а слишком много, журналист, похоже, сам несколько перепугался и связался с ЦРУ на предмет получения комментариев. Как только он сообщил установленное им подлинное имя Джона, Геллу сообщили, что в связи с потенциальными угрозами для жизни их сотрудника тот аналитик, о котором была статья АР, несколько дней назад переведён из открытого статуса в статус сотрудника, работающего под прикрытием. В переводе на общечеловеческий язык это означает, что всякое разглашение его реального имени автоматически становится государственным преступлением со всеми вытекающими отсюда последствиями для разгласившего...
Короче говоря, Аарон Гелл благоразумно решил не подставляться. И всю свою здоровенную - на 4 тысячи слов статью - хотя и посвятил рассказу об успешно осуществлённой идентификации шпиона, но ни его имени, ни конкретных сведений из нарытой информации в статье не опубликовал. "
http://www.computerra.ru/30569/vizualizatsiya-sotsialnyih-svyazey-pomo/ "Сейчас, когда социальная сеть Facebook содержит информацию о более чем 700 миллионах человек по всему миру, теория графов получает второе дыхание. И если предположить, что криминальные сообщества - это всего лишь разновидность социальных сетей, то для их анализа вполне применимы инструменты, используемые для изучения активности в интернете.
Так, в упомянутом выше случае исследователями были построены связи между всеми участниками конфликта. Связи отрисовывались как положительные или отрицательные, делились по степени близости, скорости взаимодействия и тому подобным показателям. В результате удалось не только найти узловые точки в связях, но и зацепить скрытых участников конфликта. Дальнейшее расследование, проведённое детективами, подтвердило теоретические расчёты"