Страницы пропадают из индекса Яндекса. Что случилось и как с этим бороться
Оригинал взят у netmogul в Страницы пропадают из индекса Яндекса. Что случилось и как с этим бороться
В последнее время участились случаи, когда Яндекс исключает из индекса отдельные страницы, а иногда и целые сайты. Я видел обсуждения такого поведения Яндекса на многих форумах и в клубах, но пару недель назад ощутил всю прелесть такого события и на одном из своих блогов.
Когда я проверял статистику посещений бросился в глаза факт, что поисковый трафик из Яндекса, который обычно был чуть меньше чем из Google, резко упал! Я заглянул в Яндекс.Вебмастер и нашел ответ: более 80% страниц моего блога исчеезли из индекса...
Первая мысль была, что сайт попал под какой-нибудь фильтр, но почему? Я не продавал и не покупал ссылки для этого сайта, все статьи написаны лично мной и не могут быть копией. Сайт обновляется стабильно и достаточно часто, а также активно ведутся обсуждения в комментариях. Одним словом ясно, что ничего не понятно...
Еще веселее стало вчера, когда я обнаружил, что мой блог вообще пропал из индекса Яндекса вместе с еще несколькими из моих сайтов! Причем все сайты абсолютно разных тематик и разной структуры и работают на разных движках. Сегодня, правда все сайты опять появились в индексе Яндекса, но количество проиндексированных страниц для каждого из них заметно сократилось.
Пока что я не могу найти никакого разумного объяснения такому поведению Яндекса, кроме его внутренних технических проблем, но тем не менее попробую провести эксперимент по возвращению страниц в индекс. Для этой цели предпримем следующие несколько шагов.
1. Создание страницы архивов и файла sitemap.xml
Поскольку мой блог, о котором идет речь работает на WordPress, я установил плагин SiteTree. По моему опыту, это наиболее удачный плагин для создания как страницы архивов, так и карты сайта для поисковиков sitemap.xml. Плагин поддерживает русский язык и очень гибкий в настройках.
Итак создаем новую страницу содержания или архивов и просто выбираем ее в настройках плагина - все, плагин автоматически формирует обновляемую страницу содержания, в соответствиями с нашими настройками.
Тамже в настройках, просто активируем функцию sitemap.xml и плагин сам делает остальную работу, а также уведомляет поисковики о любых обновлениях на сайте.
2. Уведомление Яндекса о наличии файла sitemap.xml
Для этого прежде всего надо добавить адрес файла sitemap.xml в инструментах Яндекс.Вебмастер, а также указать полный URL в файле для спайдера robots.txt. В том же самом файле надо проверить, чтобы все нужные страницы были открыты для индексации.
Если на сайте используется слишком много разновидностей сортировки статей, скажем: по категориям, по меткам, по авторам, по месяцам, то желательно выбрать пару наиболее полных параметров, например категории и даты, а остальные закрыть для роботов во избежание дублированного контента.
3. Обновление старых статей и пополнение контента блога
Поскольку каждый раз во время обновления статьи, WordPress отправляет уведомление (ping) поисковикам, есть смысл обновить наиболее важные статьи на блоге. Изменить все статьи, особенно если это достаточно возрастной блог, практически невозможно, но выбрать те, которые пользовались популярностью или наоборот слабо посещались, всегда можно исходя из статистики.
Идею что добавить или изменить в статье легко найти из анализа поисковых запросов, по которым посетители приходили на сайт, а также из комментариев читателей к статье. Таким образом мы не только обновим и добавим содержания к статьям, но и сделаем ее более ценной для новых посетителей.
Также желательно перед следующим шагом добавить несколько свежих записей, которые поисковый бот еще не видел, и продолжать регулярно пополнять блог новыми статьями. Пожалуй, самое важное для блога, чтобы обновления были пусть и не очень частыми, но регулярными.
4. Ссылочный прогон через любимые сервисы Яндекса
Чтобы загнать быстробота Яндекса назад на свой блог, попробуем найти его на самых любимых Яндексом ресурсах:
Кто-нибудь сталкивался с проблемой, когда страницы сайта пропадали из индекса Яндекса?
Какие Вы предпринимали действия чтобы вернуть страницы в индекс и принесло ли это успех?
В последнее время участились случаи, когда Яндекс исключает из индекса отдельные страницы, а иногда и целые сайты. Я видел обсуждения такого поведения Яндекса на многих форумах и в клубах, но пару недель назад ощутил всю прелесть такого события и на одном из своих блогов.
Когда я проверял статистику посещений бросился в глаза факт, что поисковый трафик из Яндекса, который обычно был чуть меньше чем из Google, резко упал! Я заглянул в Яндекс.Вебмастер и нашел ответ: более 80% страниц моего блога исчеезли из индекса...
Первая мысль была, что сайт попал под какой-нибудь фильтр, но почему? Я не продавал и не покупал ссылки для этого сайта, все статьи написаны лично мной и не могут быть копией. Сайт обновляется стабильно и достаточно часто, а также активно ведутся обсуждения в комментариях. Одним словом ясно, что ничего не понятно...
Еще веселее стало вчера, когда я обнаружил, что мой блог вообще пропал из индекса Яндекса вместе с еще несколькими из моих сайтов! Причем все сайты абсолютно разных тематик и разной структуры и работают на разных движках. Сегодня, правда все сайты опять появились в индексе Яндекса, но количество проиндексированных страниц для каждого из них заметно сократилось.
Пока что я не могу найти никакого разумного объяснения такому поведению Яндекса, кроме его внутренних технических проблем, но тем не менее попробую провести эксперимент по возвращению страниц в индекс. Для этой цели предпримем следующие несколько шагов.
1. Создание страницы архивов и файла sitemap.xml
Поскольку мой блог, о котором идет речь работает на WordPress, я установил плагин SiteTree. По моему опыту, это наиболее удачный плагин для создания как страницы архивов, так и карты сайта для поисковиков sitemap.xml. Плагин поддерживает русский язык и очень гибкий в настройках.
Итак создаем новую страницу содержания или архивов и просто выбираем ее в настройках плагина - все, плагин автоматически формирует обновляемую страницу содержания, в соответствиями с нашими настройками.
Тамже в настройках, просто активируем функцию sitemap.xml и плагин сам делает остальную работу, а также уведомляет поисковики о любых обновлениях на сайте.
2. Уведомление Яндекса о наличии файла sitemap.xml
Для этого прежде всего надо добавить адрес файла sitemap.xml в инструментах Яндекс.Вебмастер, а также указать полный URL в файле для спайдера robots.txt. В том же самом файле надо проверить, чтобы все нужные страницы были открыты для индексации.
Если на сайте используется слишком много разновидностей сортировки статей, скажем: по категориям, по меткам, по авторам, по месяцам, то желательно выбрать пару наиболее полных параметров, например категории и даты, а остальные закрыть для роботов во избежание дублированного контента.
3. Обновление старых статей и пополнение контента блога
Поскольку каждый раз во время обновления статьи, WordPress отправляет уведомление (ping) поисковикам, есть смысл обновить наиболее важные статьи на блоге. Изменить все статьи, особенно если это достаточно возрастной блог, практически невозможно, но выбрать те, которые пользовались популярностью или наоборот слабо посещались, всегда можно исходя из статистики.
Идею что добавить или изменить в статье легко найти из анализа поисковых запросов, по которым посетители приходили на сайт, а также из комментариев читателей к статье. Таким образом мы не только обновим и добавим содержания к статьям, но и сделаем ее более ценной для новых посетителей.
Также желательно перед следующим шагом добавить несколько свежих записей, которые поисковый бот еще не видел, и продолжать регулярно пополнять блог новыми статьями. Пожалуй, самое важное для блога, чтобы обновления были пусть и не очень частыми, но регулярными.
4. Ссылочный прогон через любимые сервисы Яндекса
Чтобы загнать быстробота Яндекса назад на свой блог, попробуем найти его на самых любимых Яндексом ресурсах:
- Твиттер - если профиль в Твиттере хорошо прокачен, то ссылка из записи в таком профиле появляется в поиске по блогам Яндекса в течение нескольких минут.
- Странички и клубы на Я.ру - после твиттера это, пожалуй, самый первый источник, куда Яндекс заглядывает за информацией. Опять же если эта странички или клуб достаточно активные и регулярно обновляется. Замечу, что клубы имеют преймущество перед персональными страничками, особенно если там много активных участников. Публиковать в клубе или на страничке в Я.ру лучше именно "ссылку", а не текстовую запись со ссылкой внутри. Причем делать эти публикации надо "вручную" - Яндекс перестал индексировать все виды кросспостинга на страницах, а также не очень любит автоматические публикации из RSS фидов в клубах.
- Живой Журнал - если есть тематический блог в ЖЖ и он хорошо индексируется Яндексом, то опубликовать анонсы некоторых статей из основного блога со ссылками на эти статьи тоже очень полезно. Как мы уже обсуждали в комментариях здесь, публиковать в LiveJournal лучше не выдержку из основной статьи, а именно анонс или краткую лицензию на ту самую статью в основном блоге.
- Группы Вконтакте - это еще одно излюбленное место быстроботов Яндекса. Ссылки из сообщений в активных группах VK тоже достаточно быстро индексируются и зазывают поисковых ботов. Приглашаю к участию в нашей группе: NetMogul Вконтакте
Кто-нибудь сталкивался с проблемой, когда страницы сайта пропадали из индекса Яндекса?
Какие Вы предпринимали действия чтобы вернуть страницы в индекс и принесло ли это успех?