Баррат "Последнее изобретение человечества". Плохие новости от кибернетики.

[kusaneko]

За день почти полностью прочитал эту книгу. То, что он пишет насчет не очень отдаленного будущего, это полный песец. И очень правдоподобно. Вроде бы и слишком это дофига - часов 5-6 подряд читать какую-то книгу, но написано просто, человеческим языком, причем много разных аргументов и контраргументов, часто интересных и неочевидных. Так что

Comments

[nepalypupsa]

Начала её читать и бросила. Книга похожа на истеричную жёлтую прессу.
1) утверждается, что уже есть ИСИ, который превосходит человека в 1000 раз.
По каким критериям превосходит? Где находится? Как называется? Как существует - сколько серверов занимает, какой объём энергии потребляет?
Я читала книгу Каку "будущее разума", издана вроде в 2014. В ней был как раз момент о том, что человеческий мозг так сложен, что на распознавание лица в любом ракурсе у него уходят доли секунд. А робота, способного распознавать то же лицо с нового ракурса, ещё не создали, для него это уже новое лицо.

2) утверждается, что ИСИ как только вырвется на свободу, сразу создаст копии себе подобных.
это полный бред. Иси - это все же компьютер, к нему надо делать процессор, микросхемы, это куча сложных железок, которые далеко не все делаются автоматизированно, как и не все автоматизированно собирается. Да и сначала надо эти ресурсы найти, потом обеспечить энергией собранный комп. Посмотри на разные видео современных роботов. Им с трудом удаётся по лестнице пройти, не говоря о том, чтобы они смогли по велению супер разума собрать ИСИ

3) само утверждение , что ИСИ захочет вырваться и захватить мир, у меня тоже вызывает недоумение. Куда вырваться ? Куда конкретно, что авторы под этим имеют ввиду? Зачем компьютеру захватывать мир? Откуда у компьютера такие человеческие желания?

Дальше не стала читать.

Да и название у книги - типичный крик бульварной прессы. Что сразу насторожило.

[kusaneko]

1. Насчет того, что есть компьютер, который в 1000 раз превосходит человеческий, я помню только фантазии на эту тему в начале книги. Может че-то забыл. Скинь цитату.

Сейчас распознавание лиц это проблема для машин, но они развиваются очень быстро, и могут научиться этому хоть в этом году, хоть в следующем. Машины тоже уже очень сложны, и становятся все сложнее. Аргумент, что это все невозможно, потому что такой машины еще не создали, мне кажется глупым, учитывая, что технологии и программы очень быстро развиваются.

2. Программы уже давно умеют вырываться из одного компьютера, проникать в другой, в том числе ища уязвимости, и делать свои копии внутри нового компьютера. И им для этого не нужно создавать новый компьютер. Я про вирусы, трояны и всякие malware. И это еще относительно простые программы, которые не занимаются самообучением.

Аргумент, что современные роботы имеют слабые возможности, мне тоже кажется глупым, потому что робототехника развивается очень быстро, и если сейчас роботы очень ограничены, то это никак не отменяет возможности их дальшейнего развития. Вот например прямо на твоих глазах входят в жизнь роботы-водители и роботы-такси. Что бы ты спрогнозировала насчет их появления, если бы тебя спросили 15 лет назад?

3. Этот вопрос подробно обсуждается в книге дальше. Цели вроде захвата ресурсов могут появиться даже в результате ошибки программистов, и это очень даже вероятный вариант. Такие же цели точно будут у машины, которая была задумана военными для войны, но которая в ходе уже другой возможной ошибки программистов перестанет какую-то из стран считать "своими". И кстати машине ведь не нужно испытывать желания для достижения чего-либо, она ведь руководствуется программами и целями, которые могут быть любыми, и которые могут появиться в том числе как побочный продукт вычислений машины. Так что невозможность для машины испытывать желания не гарантирует, что она не станет неуправляемой, и действующей враждебно в отношении людей.
А если говорить про сложные машины, созданные на основе нейронных сетей, например, то никто не может сказать, что за идея и цель родится внутри такой машины. Например, не посчитает ли она человечество, варящееся в тупости, растрате ресурсов, помехой своему собственному развитию/существованию.

Цель захватывать мир мне кажется логичной для машины - ведь у нее во-первых есть конкуренты в виде людей, которые разбазаривают ресурсы, которые нужны машине. Во-вторых, машина будет стремиться избегать угроз своему существованию, и поэтому у нее будет горизонт планирования не 5-10-30 лет, как у людей, а сотни лет, и уже в ходе этого, оценивая вероятности противодействия с людьми, машина может прийти к выводу о целесообразности устранения людей как угрозы по какой-то причине.

[kusaneko]

Если машина имеет некоторую задачу, то ей осталось только дорасти до такой степени интеллекта, чтобы понять, что в выключенном состоянии она не сможет выполнить задачу, и после этого начать искать способы избежать выключения. Причем все равно, появилась эта задача у нее в процессорах из-за того, что ее на нее запрограммировали, или задача появилась по ошибке (или в результате непонятно чего, если у нее искуственный нейронные сети).

[kusaneko]

1. Ошибки при программировании всегда будут. В том числе неочевидные, такие, которые могут быть выявлены только через какое-то время, и при совпадении нескольких факторов. Тестирование всегда упускает какие-то ошибки. С усложнением систем увеличивается количество таких ошибок, или возможностей для них.
Уже хотя бы поэтому нельзя утверждать, что ИИ можно надежно ограничить инструкциями от какой-то нежелательной активности.

2. В случае с ИИ речь идет уже не просто о программе, а о чем-то, что может развиваться, пересматривать свои решения, ставить себе цели, способность к самостоятельности в принятии решений и тд. Это рано или поздно столкнется, как с противоречием, с любыми ограничениями, наложенными людьми. И если эта система действительно умеет развиваться и имеет самостоятельность, то мне непонятно, на чем основана уверенность, что ИИ не преодолеет это препятствие.

[nepalypupsa]

"Аргумент, что это все невозможно, потому что такой машины еще не создали, мне кажется глупым, учитывая, что технологии и программы очень быстро развиваются."

я не писала, что это все невозможно, ты приписываешь мне слова, которых я не говорила, а потом обвиняешь в глупости.
я привела факт - есть один мыслительный процесс, в котором современные роботы сильно отстают от человеческого мозга. в то время как в книге, которую мы тут обсуждаем, говорится, что на сегодняшний день уже существует некий ИСИ, который в 1000 раз превосходит человека. вот это утверждение я и оспариваю. без указания того, в чем именно компьютер превосходит человека, создается ложное впечатление, что уже создан некий робот, который по всем параметрам превосходит возможности человеческого мозга в 1000 раз.
например, тот же калькулятор превосходит возможности человека в математических исчислениях, но от этого он не становится ИСИ.
и если книга написана вот таким языком - с преувеличениями, с сокрытием важной информации и с манипуляциями, создающими ложные образы, то мне уже не хочется ее читать - именно от этого она и производит впечатление не научной, а бульварной прессы.

цитата из книги, которая вводит в заблуждение:

"Вскоре, к радости ученых, терминал, на котором отобража-
ется работа ИИ, показал, что искусственный интеллект превзо-
шел интеллектуальный уровень человека - «универсальный
человекоподобный интеллект» (УЧИ ; англ. Artifi cial General
Intelligence - AGI). Еще через некоторое время он стал умнее
человека в десять раз, затем в сто. Всего за двое суток он ста-
новится в тысячу раз умнее любого человека, и его развитие
продолжается.
Ученые достигли исторического рубежа! Впервые человече-
ство встретилось с разумом более мощным, чем его собствен-
ный, - «искусственным суперинтеллектом» (ИСИ )."

т.е. прямо в этом куске написано вранье - потому что под "разумом" любой человек понимает совокупность всех возможностей человеческого мозга, скорость работы мозга, самоосознание, распознавание лиц, речи, текста и т.п.

"Программы уже давно умеют вырываться из одного компьютера, проникать в другой, в том числе ища уязвимости, и делать свои копии внутри нового компьютера."

у меня мало знаний в этой области, чтобы спорить. с тем, что ты написал, я согласна. у меня остаются сомнения в том, что чтобы супер-компьютер смог сам себя создать, ему будет достаточно захватить несколько десятков обычных компьютеров. сомнения из-за того, что во-первых, я вижу, какие целые серверные комнаты на сегодняшний день отводятся под облачные программы - а это всего лишь программы, решающие несколько функций и хранящие данные. да, технологии развиваются и стремятся к уменьшению и со временем размеры все более мощных компьютеров будут уменьшаться. хотя и тут есть предел. и остается второе сомнение - старые компы не тянут новые программы. я смотрю на то, что например, мой бук, купленный в 2008, не тянет совершенно фотошоп и в целом сильно тормозит, даже при открытии браузера. отсюда я делаю предположение, что даже если супер-комп захочет заразить и размножиться за счет более устаревших технологий, то скорее всего в силу своей слабости они не смогут выполнять новые сложные функции.
в целом мне было бы интересно почитать рассуждения технических специалистов по этому вопросу. я таким не являюсь.

на счет цели захватить ресурсы - твои утверждения кажутся логичными и пока лень думать над контр-аргументами. т.е. я и не согласна, но и не могу понять, в чем уязвимость твоей логики и есть ли она.

[kusaneko]

"цитата из книги, которая вводит в заблуждение:"

Я нашел это место. По-моему ты его неправильно поняла, или слишком быстро бросила читать :). Глава называется "Сценарий Busy Child (активный ребенок)", на первой же странице этой главы идет тот текст, который ты процитировала, и дальше описано развитие чего-то фантастического и как оно развивается дальше. Там например написано, что уже через пару дней после создания интеллект этой машины превзошел человеческий в 1000 (в сравнимых показателях), а учитывая, что книга написана в оригинале мочти год назад, такой компьютер наверняка уже стал бы в миллиард раз умнее. Про это все бы давно уже узнали, но в новостях этого не было, поэтому понятно, почему ты посчитала, что автор брехун. Дальше кстати по тексту я видел уже прямое указание на то, что это просто размышления.

"я не писала, что это все невозможно, ты приписываешь мне слова, которых я не говорила, а потом обвиняешь в глупости.
я привела факт - есть один мыслительный процесс, в котором современные роботы сильно отстают от человеческого мозга. в то время как в книге, которую мы тут обсуждаем, говорится, что на сегодняшний день уже существует некий ИСИ, который в 1000 раз превосходит человека. вот это утверждение я и оспариваю. без указания того, в чем именно компьютер превосходит человека, создается ложное впечатление, что уже создан некий робот, который по всем параметрам превосходит возможности человеческого мозга в 1000 раз. "

Щас понятно, что мы по-разному поняли, что написано в книге (я думаю, это просто потому, что ты не дочитала еще несколько страниц), поэтому слова насчет твоей глупости отменяю.

"сомнения из-за того, что во-первых, я вижу, какие целые серверные комнаты на сегодняшний день отводятся под облачные программы - а это всего лишь программы, решающие несколько функций и хранящие данные."

Я думаю, не стоит брать их за основу при оценке. Их размер зависит не только от количества функций, но и от объемов данных, которые им приходится обрабатывать. Какой-нибудь ноутбук, на котором стоит и фотошоп, и шахматы, и программа распознавания текста, и еще чего-нибудь, по количеству своих функций в итоге намного опередит такой облачный сервер (которыйхотя и исостоит из более сложных частей, но при этом рассчитан изначально на небольшой набор функций). Но при этом конечно будет не настолько производительным, если сравнивать его с сервером в какой-то одной задаче с большим количеством данных, или по количеству одновременно выполняемых задач.