«Почему я не нахожу свои статьи в поисковиках?» Готов поспорить, вы задавались этим вопросом. Я отвечал на него десяткам людей, каждый раз вынужденно устраивая лекцию. Давайте разбираться, как работают поисковые системы. Но сперва статистика.
Трафик из соцсетей демонстрирует более приятную динамику, чем поисковый. Но даже сейчас, когда в Facebook, «Вконтакте», Twitter и «Одноклассниках» «сидят все», трафик из поисковых систем в два раза больше социального. По рунету это соотношение еще больше. Так что не спешите сбрасывать Google, «Яндекс» и «Поиск Mail.Ru» со счетов. Эти старички еще долго будут обеспечивать медиа посетителями.
Поисковики работают для людей, а не для оптимизаторов. Для аудитории. Для своей аудитории. Ее потребность: как можно быстрее получать ответы на вопросы, причем каждый ответ должен быть полным и, желательно, получен от источника, который заслуживает доверия. В разных тематиках доверием пользуются разные источники: задав «автомобильный» запрос вы не увидите на первой строчке поисковой выдачи «кулинарный» сайт, даже если на нем есть нужная информация.
Индексация: как поисковики узнают о моей статье
Вы написали статью, корректор исправил ошибки, бильд помог с иллюстрациями, выпускающий редактор одобрил материал. Статья опубликована, но в поисковиках она появится не сразу. Причина простая: поисковая машина еще не знает о статье. Чтобы статья появилась в поиске, ее необходимо проиндексировать.
Для индексации сайтов поисковики используют краулеры - программы-роботы, которые «ходят» по страницам и сохраняют контент с них на серверах поисковых машин. У крупных поисковиков всегда несколько краулеров: один - для работы с изображениями, другой - для текстов, и так далее. Но откуда робот узнает, что на вашем сайте появилась новая статья?
Раньше ответ на этот вопрос был простой: роботы находили на страницах ссылки, переходили по ним, и так постепенно «перебирали» весь интернет. Со временем алгоритм изменился. Распространились счетчики и системы аналитики, появились браузеры, которые принадлежат поисковикам - тот же Google Chrome. Это позволило поисковикам опираться на трафик: роботы скорее придут на страницу, которая собирает много посетителей, чем на ту, которая никому не нужна. Еще краулеры научились находить URL страниц, о которых раньше не могли бы узнать.
Появление такого инструментария привело к неприятным случаям, вспомнить хотя бы утечку текстов SMS с сайта «Мегафона» в 2011 году. Подробнее о том, как избежать подобных происшествий и, наоборот, помочь поисковым машинам индексировать нужный контент - в следующей статье. А пока вернемся на шаг назад.
Ни одна поисковая машина не может проиндексировать «весь интернет сразу». На это не хватит ресурсов даже у Google. Что касается «Яндекса», то, согласно исследованию, полный цикл переиндексирования Рунета занимает примерно два месяца.
Извините, я вас немного обманул. Точнее, сказал не всю правду. Если вы работаете в крупном онлайн-издании, ждать придется меньше: алгоритмы всех современных краулеров предполагают самообучение. Если у вашего проекта высокая посещаемость, а публикации появляются часто, то квота, выделенная поисковому роботу на индексацию сайта, будет увеличена. Но вы ведь не станете надеяться только на это?
Если вы хотите, чтобы статья с первого дня была проиндексирована и хорошо ранжировалась в поисковиках, создавайте текст по правилам, которые диктуют поисковые сервисы. Если им не следовать, придется делать «работу над ошибками», а затем ждать переиндексации. Об основных принципах подготовки материалов я расскажу в следующей статье.
Ранжирование: почему моя статья «ниже» статьи конкурента
Давайте представим, что краулер поисковой машины добрался до вашей статьи и добавил ее в свою базу - проиндексировал. Теперь материал находится поиском.
К слову, посещение страницы поисковым роботом не гарантирует ее индексации - об этом поговорим отдельно.
Но на странице с результатами поиска ваша статья далеко не первая. Почему?
Давайте еще раз вернемся на 10-15 лет назад. В те времена все пользователи видели одинаковые результаты по одному и тому же поисковому запросу. Вначале стало понятно, что жителям разных регионов нужно показывать разные сайты. Зачем москвичу, который хочет заказать пиццу, показывать сайт из Владивостока? Так появились региональная выдача и региональная зависимость запросов.
На этом прогресс не остановился. Разработчики обратили внимание, что пользователи по-разному взаимодействуют с сайтами, которые видят в результатах поиска. Причем дело не в релевантности этих страниц запросу. Вспомните сами, как ищете информацию. Наверняка вам приходилось, кликнув по ссылке и посетив сайт, возвращаться обратно в поиск и переходить на следующую страницу. Неважно, что было причиной: не понравился дизайн, некомфортно было читать текст, всплывающее окно закрыло нужный контент или сайт не открылся. Факт остается: пользователь поисковой системы при взаимодействии с сайтом из выдачи остался не удовлетворен. Поисковые машины стали алгоритмически понижать - пессимизировать - такие страницы.
Но люди - сюрприз! - разные. Если вам не нравится белый текст на черном фоне, не факт, что сосед его тоже не любит. Все мы играем какие-то роли - мужчина, журналист. У каждого свои интересы - любитель футбола, не женат, игрок в «танчики». Поисковые машины научились сегментировать аудиторию по этим и множеству других параметров - даже ту, которая никогда не «логинилась» в «Яндексе», Google или Mail.Ru. Поисковики подстраиваются под пользователя и его предпочтения, «таргетируя» выдачу на эти сегменты. По одному и тому же запросу разные пользователи видят разную поисковую выдачу.
Вы наверняка слышали выражения «запрос в топе», «попасть в топ по запросу» и подобные. Они стали бессмысленными: если каждый пользователь видит персонализированную выдачу, о каком из миллионов «топов» мы говорим? Даже пользователя, который заходит в поиск в анонимном режиме браузера, можно идентифицировать, например, по Flash-cookies и показать ему персонализованный контент. Кстати, по данным «Яндекса», более половины поисковых запросов, которые пользователи задают в течение месяца, уникальны.
Это лишь несколько факторов, влияющих на ранжирование. На деле их сотни. На некоторые из них повлиять легко, на другие - сложнее, на третьи - практически невозможно.
Мы разобрались с основными принципами работы поисковых машин, можно двигаться дальше. В следующем материале я расскажу, как помочь поисковым машинам индексировать только важные данные и как воздействовать на факторы, влияющие на ранжирование.
Тимур Токуров, руководитель маркетинга медиапроектов Mail.Ru Group
Источник:
Medium.com Избранное блога «Записки электрического автора»:
http://www.ermak.su/blog/_blog.htm