(no subject)
Ко мне пришёл бот с таким текстом в user-agent: Yeti/0.01 (nhn/1noon, ...@naver.com, check robots.txt daily and follow it).
Чего они здесь не сказали, так это что он не только robots.txt перепроверяет ежедневно. Добрую половину моего сайта он излазил за последнюю неделю по 6-7 раз. Зачем, спрашивается? (Мне пока что не жалко, но ведь станет же!)
Наконец, нельзя сказать, что это не пошло мне на пользу! Я узнал много нового и интересного о Moin, например, о том, что в нём существует некий WikiCourse и о том, что у него есть и приколен плугин MonthCalendar.
PS. К слову сказать, врут они, что проверяют robots.txt ежедневно. При 11 проверках заглавной страницы и среднем числе проверок на страницу порядка 5-6, за не более, чем недельную историю, этот робот успел 548 раз выкачать robots.txt. Это никак не ежедневно!
Чего они здесь не сказали, так это что он не только robots.txt перепроверяет ежедневно. Добрую половину моего сайта он излазил за последнюю неделю по 6-7 раз. Зачем, спрашивается? (Мне пока что не жалко, но ведь станет же!)
Наконец, нельзя сказать, что это не пошло мне на пользу! Я узнал много нового и интересного о Moin, например, о том, что в нём существует некий WikiCourse и о том, что у него есть и приколен плугин MonthCalendar.
PS. К слову сказать, врут они, что проверяют robots.txt ежедневно. При 11 проверках заглавной страницы и среднем числе проверок на страницу порядка 5-6, за не более, чем недельную историю, этот робот успел 548 раз выкачать robots.txt. Это никак не ежедневно!