Мантра robots.txt
Последние недели богаты жарой в Москве, умиранием всего живого, и как следствие попытками создать новости. Главная новость для всех кто живет около интернетов это утечки персональных данных. Что мне кажется в этой истории интересным:
1. Любой специалист в ПО знает, что любая программа содержит ошибки. Очень часто эти ошибки связаны с безопасностью (безопасность данных, корректность работы программы, и т.д.). И для того, чтобы уменьшить количество ошибок и минимизировать их ущерб нужен хорошо устроенный процесс создания этих самых программ. Причем не только в момент создания программы, но и во время ее эксплуатации.
2. Для многих стало сюрпризом, но любой веб сайт это программа, и для него верно все сказанное в п.1. Большая часть веб сайтов это очень простая программа, но это не отменяет пункта 1.
3. Хорошее тестирование программы предполагает самые разные попытки ее сломать. И если эти попытки сделаны не с целью нанести урон владельцу или пользователю программы - то это тестирование, в ходе которого нашли уязвимость или другую ошибку и это благо для тех кто создал эту программу.
4. Что происходило в последнее время? С помощью поисковиков выяснилось, что некоторые программы (сайты) очень плохо защищают персональные данные. Оказалось, что это как программы очень больших и уважаемых компаний, так и сайты очень мелких компаний. Что тут важно - да, до того, как поисковики не проиндексировали то, что не должно было быть доступно всем - это найти было немного труднее. Что еще важно - до того, как все журналисты не написали про то, как с помощью поисковиков это найти, никто не ходил в поисковик и не искал этого. Никто - в т.ч. и владельцы плохо написанных сайтов.
5. Что должен сделать нормальный человек, когда он обнаруживает, что у Вас дома прорвало трубу и дом заливает? Он должен вызвать аварийку, или сообщить консьержу или хозяину дома или предпринять еще какие-то действия, для предотвращения ущерба. Согласитесь, если первое, что сделает этот человек - будет делать фоточки и рассылать их во все службы новостей со словами - В доме ХХХ прорвало трубу и вода вот как хлещет! Сенсация, еще 20 минут и зальет 5 этажей ниже!!! Вы ничего хорошего о таком человеке думать не станете.
6. Странно, что в истории с трубой, которую прорвало на некоторых сайтах происходило все совсем не так. Все с удовольствием анализировали синтаксис и семантику смс, кто какие дилдо и трусики заказал и кто и когда поехал на поезде. Некоторые даже фонтан перед Счетной палатой приняли за прорванную трубу и начали публиковать фоточки фонтана со словами - из Счетки хлещет! даже не потрудившись посмотреть, что найденные документы вполне открыто опубликованы на сайте.
7. Еще мне странно, что Яндекс всем говорит - надо ставить зеркальные окна, тогда никто не увидит как вода хлещет в вашем доме! Вернее Яндекс говорит мантру - настройте robots.txt. Но это в высшей степени странно - если бы на этих сайтах был настроен robots.txt, то поисковики не нашли бы эту дыру в безопасности этих сайтов, это да, но дыра то осталась бы. И любой злоумышленник легко бы через нее проник. Т.е. надо не зеркальные окна ставить, а трубы менять - чтоб дыры не было.
8. Т.е. мне кажется PR Яндекса выглядит очень бледно, видимо они только что узнали, что не весь мир состоит из гиков, и для нормального человека "robots.txt" звучит чудовищно и приводит его к ступору, а ответы Яндекса на этот вопрос перепечатывают все, а не только roem.ru.
9. Что еще интересно - основной конфуз вышел с интернет магазинами, которые пользовались опенсорс модулем на PHP - Shop-Script - это к тому, что в умелых руках тысячи опенсорсных глаз не помогают.
10. Что с этим всем делать? Помнить, что пункт 1 это горькая правда, и никто не застрахован от ошибок в программах, и если вы работаете с чувствительными данными, то Вы обязаны тратить силы на постоянную проверку безопасности своих информационных систем. Теперь еще и закон про это есть.
11. Что еще с этим делать? Помнить, что если Вы стали свидетелем негативных последствий ошибки в программе, то в первую очередь надо известить владельца\пользователя программы, а потом уже писать статью в газету.
ну да, и конечно, никогда не забывайте о robots.txt - надеюсь это станет мемом...