Известное дело, чего в сети нет - того и не существует (
http://www.livejournal.com/users/ivanov_petrov/216486.html). Также известно, что в сети есть только то, что можно найти через Гугль - ненаходимое через него существует столь же условно, как и то, что не отображено в сети. И мне стало интересно - а что не ищет Гугль?
Я, разумеется. ничего не знаю об их роботе - да и мало кто знает все детали, надо полагать. Но, может, кто-нибудь осведомлен - как строится сейчас и как может быть выстроена политика исключений? просто для затравки подобрал несколько цитат...
"Администратор сайта использовал технологии, запрещенные регламентом поисковика для повышения своего рейтинга в результатах поиска- были созданы фальшивые страницы, видимые только поисковым роботом Google, тогда как обычных пользователей перебрасывало на bmw.de.
Представитель Google подтвердил журналистам исключение сайта BMW: "Мы исключаем из индексирования сайты, нарушающие установленные правила, чтобы у наших пользователей были объективные результаты".
http://bin.com.ua/templates/news_article_big.shtml?id=51789 "Угроза судебного иска заставила одну из самых популярных в мире поисковых систем сперва удалить, а потом частично восстановить ссылки на сайт, критикующий религиозную организацию.
Сайт Xenu.net, о котором идет речь, содержит материалы, критикующие саентологическую церковь. Адвокат саентологов отправил в Google письмо с заявлением о том, что материалы Xenu.net нарушают американский Digital Millennium Copyright Act (DMCA), и потребовал, чтобы поисковая система удалила все ссылки на этот сайт. Сначала Google согласился с требованием церкви и удалил все ссылки на многочисленные страницы Xenu.net. Но вскоре после этого некоторые ссылки появились снова."
http://www.hro.org/editions/alert/6-3/11.htm "В целом усилия Индимедии привели к результатам, достойным восхищения. Однако - во многом из-за нехватки редакторского надсмотра - репортеры излагают сведения сбивчиво и шероховато, чем вызывают раздражение традиционных журналистов. Тексты с Индимедии были удалены из поисковой системы Google, как комментирует представитель компании, из-за озабоченности намеренным отсутствием централизованного редакторского контроля над публикациями."
http://magazines.russ.ru/km/2006/3/gi5.html "В настоящее время Google удалил контекстную порно-рекламу, выдававшуюся по запросу "farm date". "
http://www.topreporter.info/article.php?pub=9157 "На этой неделе стало известно, что в ответ на официальное обращение компании Sharman Networks, владельца популярной пиринговой сети Kazaa, поисковая система Google удалила из своей базы все страницы сайтов, указанных в обращении как сайты, замеченные в распространении Kazaa Lite.
На этой неделе стало известно, что в ответ на официальное обращение компании Sharman Networks, владельца популярной пиринговой сети Kazaa, поисковая система Google удалила из своей базы все страницы сайтов, указанных в обращении как сайты, замеченные в распространении Kazaa Lite - взломанной версии клиента сети, из которой удалены рекламные всплывающие окна и баннеры. Стандартным путем такую рекламу выключить невозможно."
http://www.prosto-site.ru/index.php?dn=news&to=art&id=711