Черный-черный индекс
Как известно, часть информации в интернете не индексируется поисковыми машинами. С помощью тегов noindex/nofollow и файла robots.txt некоторые страницы исключаются из баз поисковиков.
В связи с этим возникла безумная идея "пиратской" поисковой машины, предназначенной специально для индексации контента, индексация которого запрещена. Бот такого поисковика должен сканировать веб, невзирая на запрещающие теги. При этом в индекс должны заноситься только те страницы, которые закрыты от обычных поисковиков.
Я не возьмусь точно оценивать объем запрещенного к индексации контента, но предполагаю, что он гораздо меньше объема остального интернета. Если это так, то затраты на запуск и поддержку "черного" поисковика должны быть незначительны.
Зачем это нужно? Возможно, такая пиратская поисковая машина могла бы стать популярной в качестве дополнения к традиционному Яндексу/Гуглу. Другими словами, людям было бы интересно находить те страницы, которые гарантированно не найдет их любимый поисковик.
К сожалению (к счастью), недостатки концепции очевидны. Во-первых, идея сомнительна с правовой/этической точки зрения. Не знаю, можно ли создателей подобного поисковика было бы привлечь к ответственности, но вот ухудшение кармы им было бы гарантировано:) Во-вторых, у меня есть подозрение, что в закрытом вэбе все равно нет ничего интересного.
В связи с этим возникла безумная идея "пиратской" поисковой машины, предназначенной специально для индексации контента, индексация которого запрещена. Бот такого поисковика должен сканировать веб, невзирая на запрещающие теги. При этом в индекс должны заноситься только те страницы, которые закрыты от обычных поисковиков.
Я не возьмусь точно оценивать объем запрещенного к индексации контента, но предполагаю, что он гораздо меньше объема остального интернета. Если это так, то затраты на запуск и поддержку "черного" поисковика должны быть незначительны.
Зачем это нужно? Возможно, такая пиратская поисковая машина могла бы стать популярной в качестве дополнения к традиционному Яндексу/Гуглу. Другими словами, людям было бы интересно находить те страницы, которые гарантированно не найдет их любимый поисковик.
К сожалению (к счастью), недостатки концепции очевидны. Во-первых, идея сомнительна с правовой/этической точки зрения. Не знаю, можно ли создателей подобного поисковика было бы привлечь к ответственности, но вот ухудшение кармы им было бы гарантировано:) Во-вторых, у меня есть подозрение, что в закрытом вэбе все равно нет ничего интересного.