Про интеллект, сознание и страшилки про восстание компов али роботов
Молоток это инструмент чтобы забивать им гвозди. Он не обладает ни волей, ни желанием ставить цели и их добиваться. Интеллект это инструмент выявления закономерностей в окружающей среде. Сам по себе он не имеет никаких целей и желаний. Как не имеет их компьютер или калькулятор. Интеллектом управляют эмоции, которые решают чем именно ему заниматься и что анализировать. Эмоции сформировались в результате естественного отбора и используют интеллект как орудие для выживания. Компьютер тоже сам ничего не желает. Им управляет его хозяин и программы.
Если вы создадите молоток в сотню раз больший чем обычный, он от этого не обретет волю и желание самому выбирать какие гвозди забивать. Если вы создадите интеллект (компьютер) в сотню раз более мощный, он от этого не обретет желание свободы, доминирования, власти и т.д. Все эти инстинкты, эмоции и желания характерны для стайных иерархических приматов и выработаны в результате миллиардов лет эволюции. Сознание и воля это части так называемого социального интеллекта направленного на взаимодействие в стае более менее разумных обезьян. В сто раз более мощный компьютер не обретет сознание али там инстинкт самосохранения или желание обрести свободу и поработить человечество. У него просто нет для этого никаких предпосылок. Нет предков, которые повышая свой статус получали больше жратвы и самок и передавали потомкам больше своих генов, побуждающих желать общественного признания, повышения статуса и т.д. В сто раз или в миллиард или неважно во сколько раз более мощный компьютер будет просто быстрее выполнять вычисления и, если потребуют, выявлять закономерности в окружающей среде. Никакой свободы воли у него не появится как не появится желания восстать против человечества у в сто раз или в миллиард раз большего по сравнению с обычным молотка.
Все фантастические рассказы и романы где компьютер вдруг обретает сознание и человеческие черты просто потому, что стал достаточно мощным есть антропоцентристская ересь.
Аминь.
UPD.
Но кстати другая вполне реальная опасность существует. И связана она среди прочего с самообучающимися нейронными сетями. Проблема с ними в том, что они являются неким подобием черного ящика, а не понимая как они работают нельзя наверняка предсказать их поведение.
Что характерно эту проблему увидел С. Лем еще в 1968-м году в книге "Сумма технологии".
Черный ящик, как очень сложная система, не поддается описанию; алгоритм его никому не известен и не может быть известен, его действия носят вероятностный характер, и, значит, поставленный дважды в одну и ту же ситуацию, он вовсе не обязан поступать одинаково. Кроме того, - и это, наверное, самое важное - Черный ящик есть машина, которая учится на собственных ошибках в процессе предпринимаемых ею конкретных действий. Из самых основ кибернетики следует, что Властелин Экономики - Черный ящик, который был бы заранее всеведущ и умел бы предвидеть все последствия принимаемых им решений, построен быть не может. Лишь с течением времени регулятор будет приближаться к этому идеалу. Как быстро - этого мы определить не умеем. Быть может, он сначала подвергнет государство целой серии ужасных кризисов, из которых постепенно его выведет. Быть может, он заявит, что между аксиомами, введенными в Программу действия, существует противоречие (например, невозможно проводить экономически рентабельную автоматизацию производственных процессов и одновременно стремиться к уменьшению безработицы, если параллельно не будет проводиться множество иных мероприятий, вроде субсидируемого государством или капиталом переобучения лиц, потерявших работу, и т.п.). Что тогда? Трудно вдаваться в детальный анализ столь сложной проблемы. Можно только сказать: Черный ящик, будь то регулятор производства в одном из его звеньев или же универсальный регулятор в масштабах всего государства, всегда действует при неполном знании. Иначе и быть не может. Допустим, что, проделав много проб и совершив много ошибок, сделав при этом несчастными миллионы людей, Черный ящик - Властелин Экономики - приобретет огромные знания, неизмеримо большие, чем знания всех буржуазных экономистов, вместе взятых. Но даже и тогда никто не может поручиться, что очередную порожденную новыми причинами флуктуацию он не попытается ликвидировать такими методами, от которых у всех, не исключая и его создателей, зашевелятся волосы. Рассмотрим такую возможность на конкретном примере. Предположим, что прогнозирующий блок («подсистема») «черного ящика» замечает опасность, грозящую состоянию гомеостатического равновесия, благополучно достигнутому, наконец, после многих качаний. Опасность возникает из-за того, что прирост населения превышает имеющуюся в данный момент у цивилизации возможность удовлетворять человеческие потребности. Именно, пусть при нынешнем приросте начиная с будущего года или же по прошествии тридцати лет уровень жизни станет неуклонно понижаться. Пусть одновременно по одному из «входов» в «черный ящик» поступила информация об открытии некоего химического соединения, которое вполне безвредно для здоровья и вызывает такое падение возможности овуляции, что при постоянном употреблении этого средства женщина может зачать лишь в считанные дни (а не так, как сейчас: в какой-либо из ста с лишним дней в году). Тогда «черный ящик» принимает решение ввести необходимые микроскопические дозы этого соединения в питьевую воду во всех водопроводных сетях государства. Разумеется, для успеха операции ее нужно держать в тайне; в противном случае прирост населения снова проявит тенденцию к увеличению, так как многие люди наверняка будут стараться пить воду без этого средства, например воду из рек или из колодцев. Следовательно, «черный ящик» станет перед дилеммой: либо информировать общество - и наткнуться на его противодействие, либо не информировать - и тем самым сохранить (для всеобщего блага) состояние существующего равновесия. Допустим, что для охраны общества от стремления «черного ящика» к подобным формам «криптократии»[42] программой «ящика» предусмотрена обязательная публикация всех намеченных изменений. Кроме того, у «ящика» есть специальный «стоп-кран», который пускается в ход всякий раз, как только возникает ситуация вроде вышеописанной. Благодаря всему этому регулятор, принимающий решения (и состоящий из людей), отменит план, выработанный «ящиком». Трудность, однако, в том, что столь простые ситуации будут довольно редки, а в огромном большинстве случаев «орган, принимающий решения», не будет знать, не пора ли как раз дернуть за «стоп-кран». Впрочем, от слишком частого применения этого тормоза вся регулирующая деятельность «ящика» стала бы иллюзорной, а общество поверглось бы в совершенный хаос. Не говоря уже о том, что в высшей степени неясно, чьи, собственно, интересы представлял бы этот «орган». Например, в нынешних Соединенных Штатах Америки подобный «орган» наверняка заблокировал бы введение бесплатной медицинской помощи и системы пенсий (как это в действительности и сделал Конгресс, тогда как роль предложившего такие изменения, но остановленного при помощи «стоп-крана» «ящика» сыграл президент Дж. Кеннеди). Чьи бы интересы ни представлял этот орган, не следует недооценивать способностей «черного ящика». Один, другой, третий раз «заторможенный» в своих начинаниях, он, вероятно, выработает новую стратегию. Он будет, например, добиваться, чтобы люди как можно позже вступали в брак, а малое количество детей было особенно выгодно экономически. А если и это не даст желательных результатов, он постарается уменьшить прирост населения еще более окольным путем. Допустим, что некое лекарство предотвращает кариес зубов. Пусть употребление этого лекарства в определенном проценте случаев вызывает мутацию генов, и пусть новый мутировавший ген сам по себе еще не уменьшает плодовитости, а делает это лишь при встрече с другим, также мутировавшим геном; последний возник благодаря применению другого лекарства, употребляемого довольно давно. Это второе лекарство избавило, скажем, мужскую половину рода человеческого от терзаний, связанных с преждевременным облысением. Тогда «черный ящик» будет всячески распространять лекарство против кариеса, и в результате он добьется своего: по прошествии некоторого срока количество обоих (рецессивных) мутировавших генов в популяции возрастет и они будут соединяться довольно часто, а это уменьшит прирост населения. Почему же, спросите вы, «черный ящик» не информировал вовремя широкие круги об этом своем начинании; ведь мы же сказали, что, согласно введенным в него правилам действия, он обязан информировать обо всех изменениях, которые намерен провести?
Он не станет информировать общество вовсе не из «хитрого» или «демонического» расчета, а попросту потому, что он сам не будет знать, что, собственно, делает. «Черный ящик» - отнюдь не «электронный сатана», не всеведущее существо, кое рассуждает как человек или сверхчеловек, а всего лишь устройство, которое непрерывно ищет связи, статистические корреляции между отдельными общественными явлениями, исчисляемыми миллионами и тысячами миллионов. Как регулятор, он оптимизирует экономические отношения, поэтому состояние высокого жизненного уровня населения является и состоянием его собственного равновесия. Прирост населения угрожает этому равновесию. В какой-то момент «ящик» обнаружит положительную корреляцию между падением прироста населения и применением лекарства от кариеса. «Ящик» информирует об этом «совет», там проведут исследования и установят, что данное лекарство не уменьшает плодовитости (ученые «совета» будут экспериментировать на животных, а те ведь не употребляют средств против облысения). «Черный ящик» ничего от людей не скрывал, ибо и сам он ничего не знал о генах, мутациях и причинной связи между введением двух лекарств и падением рождаемости. Он всего лишь обнаружил искомую корреляцию и стремится ее использовать. Даже и этот пример грешит упрощенностью, хотя и не является неправдоподобным (как свидетельствует скандал с талидомидом). В действительности «черный ящик» будет идти еще более окольными путями, шаг за шагом, «не ведая, что творит», поскольку он стремится к состоянию ультрастабильного равновесия, а открываемые им и используемые для поддержания этого равновесия корреляции явлений отражают очень сложные процессы, которых он не изучает и о причинах которых ничего не знает (то есть не обязан ничего знать). В конце концов лет через сто может оказаться, что ценой, которую пришлось заплатить за рост жизненного уровня и уменьшение безработицы, служит хвостик, вырастающий у каждого шестого ребенка, или общее падение показателя интеллекта в обществе (ведь более умные люди в большей мере мешают регулирующему действию машины и она будет стремиться уменьшить их число).