Livejournal ЖЖ, верификация и блокировка поисковых систем файлом robots.txt Google, Yandex

[ip_gr]

Итак кратко опишу суть проблемм. Вы создали новый ЖЖ или перенесли его как я с ya.ru.

1 Не проходит верификационный код на подтверждение прав на сайт от от Яндекс мастера.
2 Обнаружены серьезные ошибки, связанные с состоянием сайта. - Проверка состояния сайта. Причина столь злого поведения поисковиков файл robots.txt, который запрещает и тем самым блокирует индексирование вашего блога, такое реже бывает и на сайтах.

Перваяя проблема решается довольно просто. Приблизительно через сутки в своем блоге на Livejournal вы создаете новую запись. Далее идете в раздел "Аккаунт" - "Дополнения" находите Yandex инструменты для веб-мастера или Google инструменты для веб-мастера и копируете туда коды альтернативных способов верификации. Если коды скопированны правильно - Верификацию ваш блог на ЖЖ пройдет обязательно.

Вторая проблема посложнее. Заблокировано по строке 4: Disallow: / Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения. При анализе файла robots.txt мы видим следующую картину маслом:

User-Agent: TwitterBot
Disallow:
User-Agent: *
Disallow: /

Disallow: / указывает на то, что необходимо все содержание вашего интернет ресурса закрыто (заблокированно) от индексирования поисковыми системами. Т.е. блог ЖЖ у Вас есть, но в интернете его нет. Для робота Google установлен запрет на httр://*******.livejournal.com/. На самом же деле этот файл должен выглядеть приблизительно так:

User-Agent: Mediapartners-Google*
Disallow:

Sitemap: http://www.livejournal.com/sitemap.xml

User-Agent: TwitterBot
Disallow:
User-Agent: *
Disallow: /data/foaf/
Disallow: /tag/
Disallow: /friendstimes
Disallow: /calendar
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /2014/