Про "умные машины", трансгуманизм и конец света
Заголовок громкий, да. Но новогодние каникулы - самое подходящее время для того, чтобы немного оглядеться вокруг. Я решил собрать воедино свои соображения о главных угрозах человечеству, идущих с той стороны, в которой более или менее разбираюсь.
Моя работа состоит в том, чтобы сделать вычислительные машины как можно более умными. Казалось бы, вполне достойная цель: усовершенствовать способы обработки информации настолько, чтобы компьютер перестал быть в основном платформой для запуска экселя, и смог бы решать действительно интеллектуальные задачи. То есть - принимать решения.
Распределять потоки трафика, решать, где построить детский сад, а где отремонтировать подстанцию, выявлять угрозы безопасности... Наверное, кто-то думает, что компьютеры могут это делать и сейчас. Это верно лишь отчасти: сейчас такие функции доступны в рамках узкоспециализированных программ, где решение всех вопросов, по сути, предрешено человеком - компьютер лишь предпринимает те или иные действия при возникновении определенных ситуаций. То есть, он не принимает решения, а применяет их.
Чтобы принимать решения, компьютеру нужны как минимум две способности: а) работать с информацией переменной структуры, б) концептуализировать поступающую информацию, и в) умение делать логические выводы. Технологии для этого уже есть, а их применение пока не стало мейнстримом :) Именно в таком направлении мы понемногу практикуемся. Конечно, наши экзерсисы довольно скромны по сравнению с тем, что делает, например, IBM в проекте Watson. Пристальный футуролог мог бы увидеть некие угрозы и в этой деятельности, но пока они, в целом, поддаются оценке и контролю. Посмотрим, однако, что ждет нас за этими, первыми шагами.
Во-первых, нас ждет давно ожидаемая симуляция нейронной структуры мозга аппаратными средствами (см. TrueNorth от IBM). Эта технология может идти в связке с предыдущей, осуществляя восприятие окружающей среды, и передавая осмысленную информацию на обработку средствам логического вывода. Скорее всего, логические движки головокружительного качества будут реализованы на самой нейронной аппаратной платформе, и наши сегодняшние семантические упражнения покажутся крестьянской телегой на фоне Сапсана. Риски? Главный и очевидный риск - перестать понимать, что именно происходит внутри структуры, которая сложнее и производительнее человеческого мозга в несколько раз. Я не говорю о возникновении в ней сознания и самостоятельной воли, о таких вещах можно только гадать, но страшно будет и без этого - если такому компьютеру передано принятие решений, жизненно важных для людей. А в том, что так и будет, можно не сомневаться; мы же ездим на Сапсане, хоть он и движется намного быстрее человека или лошади.
Кстати, в переходе на новую аппаратную архитектуру состоит одно из возможных разрешений парадокса технологической сингулярности, если смотреть на нее узко - с точки зрения производительности вычислительных машин (закон Мура).
Во-вторых, нас ждет интерфейс мозг-компьютер, о котором, кажется, не писал только ленивый, и который хорошо освещен в массовой культуре. Как показывает сегодняшняя одержимость гаджетами, никаких моральных или иных "человеческих" препятствий для погружения в "новую реальность" нет. Человечество сядет на эту иглу, и радостно избавится от своих биологических органов чувств ради новых, небывалых ощущений. То, что мы пока еще считаем объективной (т.е. воспринимаемой непосредственно нашими органами чувств) реальностью, и сейчас уже весьма зыбко в некоторых отношениях - мы видим много примеров того, как под влиянием информационных потоков люди одни и те же объекты и явления воспринимают совершенно по-разному, и почти всегда - в чудовищном искажении. Легко представить, что произойдет, если вся информация, которую мы будем получать, будет поставляться информационными системами. Тут уже не важно, кто ей управляет - другие люди, или "умная машина".
В-третьих, существует такая чудесная вещь, как трансгуманизм. Направление довольно эклектичное, в том числе потому, что среди рассуждающих о нем полно людей, которые не являются профессионалами ни в одной из наук или отраслей технологии. Для нашего обсуждения достаточно сказать, что одной из главных целей трансгуманистов является радикальное изменение природы человека как биологического, социального и духовного существа. В результате должен появиться сверхчеловек - существо с бесконечно развивающимися возможностями. Люди в нынешнем виде будут для него лишь "эволюционными предшественниками". Сверхчеловек будет использовать и возможности информационных технологий, о которых шла речь выше, и (может быть) усовершенствованные возможности своего тела. Хотя далеко не факт, что биологическая субстанция ему вообще понадобится.
Так вот. Может, не стоит всего этого бояться? Крестьянин XIX века до смерти испугался бы Сапсана (раз уж мы взялись за эту метафору), но это не значит, что скоростные поезда представляют для нас серьезную угрозу...
Я знаю, что во всем этом не нравится лично мне. Хорошо известно, что человек - алчное существо. Его алчность регулируется сложными механизмами, в том числе социальными, биологическими и духовными. При серьезном нарушении баланса она регулируется разного рода катастрофами, социальными взрывами и прочим. Так вот - опасность того пути, на который толкают нас перечисленные выше технологии, состоит в их использовании для удовлетворения человеческой алчности, и снятия имеющихся барьеров для этого. Например, для меня стремление к вечной жизни, или хотя бы к жизни длиной в сотни лет, о чем мечтают трансгуманисты - ничем не лучше стремления купить в кредит третий лексус.
В результате, у людей, обладающих доступом к этим технологиям - скорее всего, их будет очень немного - появится возможность бежать все дальше и дальше, гонясь за несуществующим и невозможным удовлетворением своей алчности. У подавляющего большинства других людей при этом будет отнята возможность личного выбора, достижения своего частного счастья, достойной жизни - или даже жизнь как таковая. Это абсолютно аморально.
Даже если, паче чаяния, в результате развития технологий некие блага, в виде материальных удобств и новых ощущений, станут доступны многим людям - это совершенно не значит, что они станут счастливее. Скорее всего - наоборот.
Конечно, картина может выглядеть подобным образом и без новых технологий, чему можно найти немало примеров. Но сейчас, впервые в истории, технологии покушаются на незыблемые доселе основы: статус человека, как самого умного существа на Земле, хозяина своей судьбы; и на природу человека, как биологически-социально-духовного существа.
Что делать? Только одно. Те, кто развивает новые технологии, должны осознавать свою ответственность за результаты своих действий.
Моя работа состоит в том, чтобы сделать вычислительные машины как можно более умными. Казалось бы, вполне достойная цель: усовершенствовать способы обработки информации настолько, чтобы компьютер перестал быть в основном платформой для запуска экселя, и смог бы решать действительно интеллектуальные задачи. То есть - принимать решения.
Распределять потоки трафика, решать, где построить детский сад, а где отремонтировать подстанцию, выявлять угрозы безопасности... Наверное, кто-то думает, что компьютеры могут это делать и сейчас. Это верно лишь отчасти: сейчас такие функции доступны в рамках узкоспециализированных программ, где решение всех вопросов, по сути, предрешено человеком - компьютер лишь предпринимает те или иные действия при возникновении определенных ситуаций. То есть, он не принимает решения, а применяет их.
Чтобы принимать решения, компьютеру нужны как минимум две способности: а) работать с информацией переменной структуры, б) концептуализировать поступающую информацию, и в) умение делать логические выводы. Технологии для этого уже есть, а их применение пока не стало мейнстримом :) Именно в таком направлении мы понемногу практикуемся. Конечно, наши экзерсисы довольно скромны по сравнению с тем, что делает, например, IBM в проекте Watson. Пристальный футуролог мог бы увидеть некие угрозы и в этой деятельности, но пока они, в целом, поддаются оценке и контролю. Посмотрим, однако, что ждет нас за этими, первыми шагами.
Во-первых, нас ждет давно ожидаемая симуляция нейронной структуры мозга аппаратными средствами (см. TrueNorth от IBM). Эта технология может идти в связке с предыдущей, осуществляя восприятие окружающей среды, и передавая осмысленную информацию на обработку средствам логического вывода. Скорее всего, логические движки головокружительного качества будут реализованы на самой нейронной аппаратной платформе, и наши сегодняшние семантические упражнения покажутся крестьянской телегой на фоне Сапсана. Риски? Главный и очевидный риск - перестать понимать, что именно происходит внутри структуры, которая сложнее и производительнее человеческого мозга в несколько раз. Я не говорю о возникновении в ней сознания и самостоятельной воли, о таких вещах можно только гадать, но страшно будет и без этого - если такому компьютеру передано принятие решений, жизненно важных для людей. А в том, что так и будет, можно не сомневаться; мы же ездим на Сапсане, хоть он и движется намного быстрее человека или лошади.
Кстати, в переходе на новую аппаратную архитектуру состоит одно из возможных разрешений парадокса технологической сингулярности, если смотреть на нее узко - с точки зрения производительности вычислительных машин (закон Мура).
Во-вторых, нас ждет интерфейс мозг-компьютер, о котором, кажется, не писал только ленивый, и который хорошо освещен в массовой культуре. Как показывает сегодняшняя одержимость гаджетами, никаких моральных или иных "человеческих" препятствий для погружения в "новую реальность" нет. Человечество сядет на эту иглу, и радостно избавится от своих биологических органов чувств ради новых, небывалых ощущений. То, что мы пока еще считаем объективной (т.е. воспринимаемой непосредственно нашими органами чувств) реальностью, и сейчас уже весьма зыбко в некоторых отношениях - мы видим много примеров того, как под влиянием информационных потоков люди одни и те же объекты и явления воспринимают совершенно по-разному, и почти всегда - в чудовищном искажении. Легко представить, что произойдет, если вся информация, которую мы будем получать, будет поставляться информационными системами. Тут уже не важно, кто ей управляет - другие люди, или "умная машина".
В-третьих, существует такая чудесная вещь, как трансгуманизм. Направление довольно эклектичное, в том числе потому, что среди рассуждающих о нем полно людей, которые не являются профессионалами ни в одной из наук или отраслей технологии. Для нашего обсуждения достаточно сказать, что одной из главных целей трансгуманистов является радикальное изменение природы человека как биологического, социального и духовного существа. В результате должен появиться сверхчеловек - существо с бесконечно развивающимися возможностями. Люди в нынешнем виде будут для него лишь "эволюционными предшественниками". Сверхчеловек будет использовать и возможности информационных технологий, о которых шла речь выше, и (может быть) усовершенствованные возможности своего тела. Хотя далеко не факт, что биологическая субстанция ему вообще понадобится.
Так вот. Может, не стоит всего этого бояться? Крестьянин XIX века до смерти испугался бы Сапсана (раз уж мы взялись за эту метафору), но это не значит, что скоростные поезда представляют для нас серьезную угрозу...
Я знаю, что во всем этом не нравится лично мне. Хорошо известно, что человек - алчное существо. Его алчность регулируется сложными механизмами, в том числе социальными, биологическими и духовными. При серьезном нарушении баланса она регулируется разного рода катастрофами, социальными взрывами и прочим. Так вот - опасность того пути, на который толкают нас перечисленные выше технологии, состоит в их использовании для удовлетворения человеческой алчности, и снятия имеющихся барьеров для этого. Например, для меня стремление к вечной жизни, или хотя бы к жизни длиной в сотни лет, о чем мечтают трансгуманисты - ничем не лучше стремления купить в кредит третий лексус.
В результате, у людей, обладающих доступом к этим технологиям - скорее всего, их будет очень немного - появится возможность бежать все дальше и дальше, гонясь за несуществующим и невозможным удовлетворением своей алчности. У подавляющего большинства других людей при этом будет отнята возможность личного выбора, достижения своего частного счастья, достойной жизни - или даже жизнь как таковая. Это абсолютно аморально.
Даже если, паче чаяния, в результате развития технологий некие блага, в виде материальных удобств и новых ощущений, станут доступны многим людям - это совершенно не значит, что они станут счастливее. Скорее всего - наоборот.
Конечно, картина может выглядеть подобным образом и без новых технологий, чему можно найти немало примеров. Но сейчас, впервые в истории, технологии покушаются на незыблемые доселе основы: статус человека, как самого умного существа на Земле, хозяина своей судьбы; и на природу человека, как биологически-социально-духовного существа.
Что делать? Только одно. Те, кто развивает новые технологии, должны осознавать свою ответственность за результаты своих действий.