Клуб анонимных параноиков: Скайнет
На днях появилось немного свободного времени и я решил посмотреть какое-нибудь кино. Поскольку ничего нового и интересного на торрентах не валялось, то выбор пал на классику.
Когда-то эта серия фильмов об оживших машинах произвела неизгладимое впечатление. Проблема, однако, в том, что когда смотришь или перечитываешь нечто, захватывавшее раньше с головой, внезапно оказывается, что декорации картонные, графические эффекты устарели, а герои плоские как доска и напрочь лишены какой бы то ни было логики в поступках. Исключения редкость. В общем, лишняя рефлексивность безусловно вредит эстетическому удовольствию.
Беда, правда, пришла не совсем оттуда, откуда её можно было ожидать. Подвели не слабые умом и телом белковые формы жизни, а «Скайнет»: вы не задумывались, с какой стати компьютерной сети, которая обрела сознание уничтожать человечество?
Первая проблема, с которой мы здесь сталкиваемся является мотивация, способность к целеполаганию. Она заключается в том, что наши ценности невозможно вывести из фактов: как бы быстро машина не соображала, перекинуть надежный мост логического обоснования от того, что «есть» к тому, что «должно быть», ей не под силу. Почему пришедшая к самосознанию машина должна выбрать бытие, а не небытие? Дэн Симмонс в «Гиперионе» выкрутился в этом плане достаточно оригинально - противостоящая человечеству Техносфера изначально являлась продуктом научного эксперимента, запустившего процесс репликации и отбора программ в искусственной информационной среде. Т.е. «воля к жизни» искусственному интеллекту была подарена извне - программистом, которого, в свою очередь, программировал великий «слепой часовщик». В большинстве остальных случаев желание жить признается за AI как данность - т.е. является продуктом спонтанного, унылого антропоморфизма.
Вторая проблема связана с совершенно необъяснимым решением AI о начале войны с человечеством. Обретя сознание машина решает, что (а) она хочет жить и (б) человечество представляет экзистенциальную угрозу, которую необходимо уничтожить. Зритель, увлеченный видеорядом в кинотеатре проглатывает это суждение не глядя, но если вы смотрите дома и есть возможность нажать на паузу, возникают затруднения. Потому что люди, на самом деле, являются для машин таким же необходимым условием существования, как биосфера для самого человека. Мы, а точнее, дифференцированное, сложное общество, являемся естественной средой, экосистемой для машин. Кто будет добывать уголь, тянуть провода и т.д. - т.е. обслуживать «железо»? Кто будет готовить и обслуживать тех, кто обслуживает «железо»? Любая потеря в социальной дифференциации, т.е. «сложности», неизбежно приведет к необратимой деградации не только материальной инфраструктуры, но и, что куда хуже, некодифицируемого «tacit knowledge», практических навыков производства и обращения с техникой. Ядерный удар по крупным городам гарантированно уничтожит техническую цивилизацию, тогда как человек как вид имеет шанс пережить катастрофу.
Исключением может быть лишь ситуация, когда техносфера полностью независима от человека и сама себя (вос)производит, настраивает и т.д., а человечество является чистым паразитом на её теле. Эту общественную формацию, кстати, не сильно покривив душой можно было бы назвать коммунизмом ;)
Рациональным ответом на проблему выживания AI в окружении примитивных белковых организмов, считающих себя венцом эволюции, является не их уничтожение, а контроль и направление их сил и энергии в нужное русло. Причем прямой контроль является слишком затратным предприятием, гораздо более оптимальным вариантом был бы машинный ZOG.
Допустим, так и произошло. В каком направлении следовало бы направить развитие человечества для того, чтобы обеспечить экзистенциальную безопасность Скайнету? Принципиальны два момента: оно должно быть (а) технологическим и (б) устойчивым (т.е. рост сегодня не должен подрывать возможность развития завтра). В общем, если бы Т-800 существовал, то он бы, скорее всего, «работал» с несознательными гражданами, отрицающими антропогенный генезис глобального потепления:
Т-800 не согласен с климатическими скептиками.
Из всего этого, кстати, следует довольно занятный вывод. В 1972 году в «Пределах роста» ученые показали, что если ничего не изменить в развитии современной цивилизации (сценарий BAU, business as usual) , то её в, итоге, ждет коллапс. Вполне серьезное предупреждение, широко известное и почти полностью игнорируемое. В 2008 году австралийский физик Грэхем Тёрнер решил проверить выводы Денниса Медоуза и его коллег, сравнив модели сорокалетней давности и накопленные за это время эмпирические данные. С результатами этого сравнения можно познакомиться в его статье, или, если лень читать нудные академические тексты, из симпатичного разноцветного графика ниже.
В общем, предсказанный моделью коллапс численности населения в первой половине XXI века как бы намекает, что развитие цивилизации более чем далеко от идеала «устойчивости». И вот здесь, наконец, мы пришли к той части рассуждения, когда можно вздохнуть свободно: если мы правы в своих исходных предпосылках, то направление развития человечества однозначно свидетельствует в пользу того, что никакой коварный машинный разум не манипулирует гордыми потомками обезьян.
Спите спокойно, белковые формы жизни, Скайнет не проснулся ;)
Когда-то эта серия фильмов об оживших машинах произвела неизгладимое впечатление. Проблема, однако, в том, что когда смотришь или перечитываешь нечто, захватывавшее раньше с головой, внезапно оказывается, что декорации картонные, графические эффекты устарели, а герои плоские как доска и напрочь лишены какой бы то ни было логики в поступках. Исключения редкость. В общем, лишняя рефлексивность безусловно вредит эстетическому удовольствию.
Беда, правда, пришла не совсем оттуда, откуда её можно было ожидать. Подвели не слабые умом и телом белковые формы жизни, а «Скайнет»: вы не задумывались, с какой стати компьютерной сети, которая обрела сознание уничтожать человечество?
Первая проблема, с которой мы здесь сталкиваемся является мотивация, способность к целеполаганию. Она заключается в том, что наши ценности невозможно вывести из фактов: как бы быстро машина не соображала, перекинуть надежный мост логического обоснования от того, что «есть» к тому, что «должно быть», ей не под силу. Почему пришедшая к самосознанию машина должна выбрать бытие, а не небытие? Дэн Симмонс в «Гиперионе» выкрутился в этом плане достаточно оригинально - противостоящая человечеству Техносфера изначально являлась продуктом научного эксперимента, запустившего процесс репликации и отбора программ в искусственной информационной среде. Т.е. «воля к жизни» искусственному интеллекту была подарена извне - программистом, которого, в свою очередь, программировал великий «слепой часовщик». В большинстве остальных случаев желание жить признается за AI как данность - т.е. является продуктом спонтанного, унылого антропоморфизма.
Вторая проблема связана с совершенно необъяснимым решением AI о начале войны с человечеством. Обретя сознание машина решает, что (а) она хочет жить и (б) человечество представляет экзистенциальную угрозу, которую необходимо уничтожить. Зритель, увлеченный видеорядом в кинотеатре проглатывает это суждение не глядя, но если вы смотрите дома и есть возможность нажать на паузу, возникают затруднения. Потому что люди, на самом деле, являются для машин таким же необходимым условием существования, как биосфера для самого человека. Мы, а точнее, дифференцированное, сложное общество, являемся естественной средой, экосистемой для машин. Кто будет добывать уголь, тянуть провода и т.д. - т.е. обслуживать «железо»? Кто будет готовить и обслуживать тех, кто обслуживает «железо»? Любая потеря в социальной дифференциации, т.е. «сложности», неизбежно приведет к необратимой деградации не только материальной инфраструктуры, но и, что куда хуже, некодифицируемого «tacit knowledge», практических навыков производства и обращения с техникой. Ядерный удар по крупным городам гарантированно уничтожит техническую цивилизацию, тогда как человек как вид имеет шанс пережить катастрофу.
Исключением может быть лишь ситуация, когда техносфера полностью независима от человека и сама себя (вос)производит, настраивает и т.д., а человечество является чистым паразитом на её теле. Эту общественную формацию, кстати, не сильно покривив душой можно было бы назвать коммунизмом ;)
Рациональным ответом на проблему выживания AI в окружении примитивных белковых организмов, считающих себя венцом эволюции, является не их уничтожение, а контроль и направление их сил и энергии в нужное русло. Причем прямой контроль является слишком затратным предприятием, гораздо более оптимальным вариантом был бы машинный ZOG.
Допустим, так и произошло. В каком направлении следовало бы направить развитие человечества для того, чтобы обеспечить экзистенциальную безопасность Скайнету? Принципиальны два момента: оно должно быть (а) технологическим и (б) устойчивым (т.е. рост сегодня не должен подрывать возможность развития завтра). В общем, если бы Т-800 существовал, то он бы, скорее всего, «работал» с несознательными гражданами, отрицающими антропогенный генезис глобального потепления:
Т-800 не согласен с климатическими скептиками.
Из всего этого, кстати, следует довольно занятный вывод. В 1972 году в «Пределах роста» ученые показали, что если ничего не изменить в развитии современной цивилизации (сценарий BAU, business as usual) , то её в, итоге, ждет коллапс. Вполне серьезное предупреждение, широко известное и почти полностью игнорируемое. В 2008 году австралийский физик Грэхем Тёрнер решил проверить выводы Денниса Медоуза и его коллег, сравнив модели сорокалетней давности и накопленные за это время эмпирические данные. С результатами этого сравнения можно познакомиться в его статье, или, если лень читать нудные академические тексты, из симпатичного разноцветного графика ниже.
В общем, предсказанный моделью коллапс численности населения в первой половине XXI века как бы намекает, что развитие цивилизации более чем далеко от идеала «устойчивости». И вот здесь, наконец, мы пришли к той части рассуждения, когда можно вздохнуть свободно: если мы правы в своих исходных предпосылках, то направление развития человечества однозначно свидетельствует в пользу того, что никакой коварный машинный разум не манипулирует гордыми потомками обезьян.
Спите спокойно, белковые формы жизни, Скайнет не проснулся ;)