Вообще, как позже посоветовал уважаемый участник Форума бизнес-разведчиков Vinni (а я потом сделал на основании его слов эту правку), самое простое, что можно сделать, дабы увидеть файл с запрещенными к индексации страницами - ввести URL вида http://имя_исследуемого_сайта/robots. ( Read more... )