Мой сайт - моя крепость
Мало кто может так сказать и не ошибиться. Любой сайт на самом деле - проходной двор. Если вы думаете, что с вашим сайтом дело обстоит иначе, вы уже ошиблись. Заглянув в логи, вы увидите: там кто только не шастает... И не удивляйтесь, если среди посетителей вы обнаружите больше ботов, чем людей.
Тех, кто привык поглядывать в логи, я скорее всего ничем не удивлю. Но я сам очень удивлен тем, насколько мало таких людей. Большинство вебмастеров этим себя не утруждает, многие даже логи читать не умеют - а зря. Вот для них-то я и пишу эту заметку. Чтобы поняли наконец, что Мировая Паутина - это джунгли, в которых полагаться можно только на себя.
Кроме привычных поисковых ботов, которых мы ждем с нетерпением, по сайтам ползает море всякой нечисти. Можете проверить - множество неведомых форм сетевой жизни появляется практически сразу же после делегирования домена. Несколько пауков давно узнаваемы - сканируют все подряд, собирая свой собственный ссылочный граф, в который вы же потом будете заглядывать (и скорее всего, не бесплатно). Давайте поприветствуем старых знакомых - вот AhrefsBot/5.0 (у меня заблокирован, но не отвязывается), вот некто Ezooms/1.0 (чей - непонятно, только адрес на gmail). Ну, эти-то хотя бы представляются и с запросами не особенно частят.
Вот стайки наивных попингуйчиков (так их прозвал Lasto) - посылают запросы с поддельным реферером, в реферере стоит адрес, с которого на вашу страницу ссылки не было и не будет никогда. Сами понимаете, в расчете на трекбэк. Которого, естественно, нет и не планируется, но эти пташки вообще вряд ли понимают, что делают. Пингуют наудачу все подряд, даже статику.
Вот бот, который прикидывается браузером - обычно каким-нибудь устаревшим. Правда, браузеры не посылают по 3 запроса в секунду к разным страницам, это просто очередной парсер, который то ли собирает контент для его дальнейшего размещения на каком-нибудь сплоге, то ли выгребает ссылки в надежде найти что-то интересное. Вообще-то таким жучкам-короедам лучше всего блокировать доступ на третьем-четвертом запросе, и когда мне будет нечего делать (и не лень), я такой механизм себе сварганю.
А вот и еще одна категория - сканеры уязвимостей. О них-то и пойдет разговор, если он кому-то интересен. Но только в оригинале.
[ Оригинал Поста ]