И все-таки они следят...
Специалисты High-Tech Bridge решили проверить кто из 50 крупнейших соцсетей, веб-сервисов и бесплатных почтовых систем, злоупотребляет конфиденциальностью своих пользователей. Для этого они провели простой технический эксперимент, который может быть легко воспроизведен кем угодно. Сущность проведенного эксперимента достаточно проста: они развернули выделенный веб-сервер, на котором создали тайные и абсолютно непредсказуемые URL-адреса для каждого тестируемого сервиса, доступ к которым был запрещен для роботов через robots.txt. После этого были использованы различные законные функции этих сервисов для передачи тайных URL, например, в Google+ поделились ссылкой с кругом в котором не было пользователей, а в Facebook отправили л/с с ссылкой и т.д. Расставив сети, начали мониторить журналы веб-сервера на предмет входящих HTTP-запросов. За 10 дней эксперимента в ловушке оказалось только шесть сервисов из 50. Однако, среди этих шести были четыре из наиболее крупнейших и часто используемых соцсетей: Facebook, Twitter, Google+ и Formspring. Остальные два были сервисы сокращения ссылок: bit.ly и goo.gl. Причем только робот Twitter'а соблюдал ограничения указанные в директиве disallow, а все остальные сервисы просто игнорировали ее. Кстати, ЖЖ также входил в число тестируемых сервисов и не засветился. Может быть потому, что у него просто нет робота, или есть, но очень ленивый.