Поисковый бот mail.ru не отличается ни умом, ни сообразительностью

[dil]

Вот ВСЁ, что он запрашивал с одного моего сайта за весь декабрь, проявляя к отсутствующему robots.txt гораздо больший интерес (10 раз), чем даже к морде сайта (3 раза):

217.69.133.70 - - [03/Dec/2012:15:11:07 +0000] "GET / HTTP/1.0" 200 5702 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [03/Dec/2012:15:23:33 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [03/Dec/2012:15:23:40 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [09/Dec/2012:23:25:38 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [09/Dec/2012:23:25:45 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [12/Dec/2012:22:17:36 +0000] "GET / HTTP/1.0" 200 5702 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [14/Dec/2012:12:47:59 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [14/Dec/2012:12:48:01 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0)"
217.69.133.70 - - [18/Dec/2012:10:01:39 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [18/Dec/2012:10:01:46 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [21/Dec/2012:16:07:49 +0000] "GET / HTTP/1.0" 200 5702 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [24/Dec/2012:10:29:26 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [24/Dec/2012:10:29:29 +0000] "GET /robots.txt HTTP/1.0" 404 208 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.70 - - [25/Dec/2012:04:46:51 +0000] "GET /avatar-abnh.jpg HTTP/1.0" 200 3829 "-" "Mozilla/5.0 (compatible; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"

Оригинал этой записи в личном блоге.
(
| Комментировать в Dreamwidth)