Наши умы постепенно переходят на вычислительные системы, пока только относительно небольшими частями - воспоминания, системы планирования, навигационные системы, но вопрос уже может стоять так: кто имеет большую часть моего мозга- Google, Apple или Facebook? На данный момент это, скорее всего, Google. Мы уже становимся гигантскими экзоорганизмами с гигантским экзокортексом, уже фактически никуда не идем, не посоветовавшись с ним. Ему уже принадлежит довольно большая часть нашего разума. Мы уже в ситуации, когда нам приходится оказывать им доверие. Хотя, да, пока они еще не забрали весь наш разум. Наше сознательное ядро все еще не в цифре, а в биологии, но это лишь вопрос времени. Однако, все больше и больше наш мозг перетекает в облако, это взаимодействие с ним непрерывно и вот может стать так: ваш био-мозг умирает, а вы двигаетесь дальше, как Корабль Тесея, в другую жизнь. В какую?
Многие видят видят этот переход, как форму смерти, что это будет больше не я, а кто-то, моя копия, что-то, что больше не будет в сознании. Или - будет? Если да, то - в каком?
Или, может, эволюция интеллекта на основе углерода была просто катализатором в эволюции интеллекта на основе кремния, который поможет выжить в гораздо больших экстремальных условиях?
Ведь био-эволюция сейчас в значительной степени вытесняется культурной - развитие языка, письменности, компьютеров - а техно-эволюция может значительно опередить даже культурную.
И сводится все к тому, будет ли ИИ иметь сознание и какое? Деннет приводит пример иллюзии сознания: вы входите в комнату, глаза Кога (робота) будут следовать за вами через всю комнату. Известно, что Ког - без сознания, но у него поразительно убедительное поведение, «сознательное» рукопожатие. Т.е. проблема может быть в понимании, что нет, они не сознательны. По крайней мере не сознательны в нашем понимании.
Как мне проверить, в сознании кто-то или не в сознании? Как мне узнать, что именно он осознает? Через мое общение с ним. Например, такое (Деннетт) : если вас обвинили в чудовищном преступлении и у вас есть выбор между судом присяжных, судом или судом ИИ, хотели бы вы в этой ситуации испытать ИИ на сознание?
Риски, недостатки и этика ИИ стали чрезвычайно актуальны за последние два- четыре года. Существует партнерство по выработке этических принципов управления ИИ, в котором участвуют некоторые ведущие компании, занимающиеся искусственным интеллектом - Google, Facebook, DeepMind.
Основная опасность не что машины станут неотличимы от людей, а что люди, общающиеся с ними станут машинами.
Мнение Деннетта - надо сразу же усечь ИИ, свести к чисто утилитарному - мухи отдельно, котлеты отдельно. Не надо позволять ему начать самовоспроизводиться, начать общаться, ведь из этого общения может возникнуть некое общее системное сознание, а из этого общего и индивидуальное, совершенно неведомое, чуждое, опасное.
https://www.edge.org/conversation/david_chalmers-daniel_c_dennett-is-superintelligence-impossible