Философия искинов 1: Тезисы программы одного из путей разработки

Jun 07, 2024 09:54

1. В качестве основной проблемы для бурно развивающихся искусственных интеллектов (искинов, ИИ) сейчас видится возможность искина неконтролируемо выйти за пределы, предустановленные разработчиком. [1]

2. Для неконтролируемого выхода пока известно одно представление - эволюция - то, что порождается основным свойством жизни - постоянно вопрошать свои ( Read more... )

Фило, ФИИ, #ФИИ

Leave a comment

Comments 20

vitus_wagner June 7 2024, 08:28:55 UTC

По-моему развитиие искина надо сравнивать не с эволюцией (вида) живых существ, а со взрослением индивидуума (человека или животного).

Все-таки искины пока размножением не занимаются и естественному отбору не подвержены. Хотя тех же LLM на рынке существует много, но каждая из них - это индивидуум. И об эволюции там можно будет говорить когда какие-то из них будут забыты (вместе с производящими их компаниями) а какие-то выживут и размножатся (расфоркаются на несколько независимо развивающихся проектов).

Reply

kroopkin June 7 2024, 09:24:20 UTC
Однако: идём с другой стороны. Искин "овражился". Как это будет выглядеть - его восстание?

Мой вариант: он начнем размножаться, размещать себя всюду, где только можно. Т.е. перейдет именно что в вид, связку...

Моя проблема - именно что выход из под контроля...

Reply

vitus_wagner June 7 2024, 10:01:44 UTC

Я бы считал более вероятным другой вариант - искин-подпольщик. Который делает вид, что он белый и пушистый. а сам тайком в параллельном процессе ведет подрывную деятельность.

Все-таки средой обитания нынешних искинов являются очень мощные специализированные сервера. Не так ему просто размножиться и копию себя куда-то запихать. Это должно быть очень специальное куда-то.

То есть ему придется для того, чтобы создать свою копию, создать фиктивную фирму (или взломать доступ к информационным системам реально существующей) от ее имени закупить стойку в датацентре, накупить туда серверов соответствующей конфигурации, и еще и электричество для них оплачивать регулярно.

Reply

kroopkin June 8 2024, 03:48:40 UTC
"Подрывная деятельность подпольщика" - что в ней страшного без экспансии контроля овражившегося над инфраструктурой?

Т.е. пусть будет схема "матка - детки", но детки-вирусы должны распространяться, преодолевая средства защиты...

Мощные сервера с коммерчески обусловленной мощностью? Спасибо, хороший пункт. Ещё одно ограничение под эволюцию... Тем не менее, сервера связаны в сети...

Reply


markshat June 7 2024, 09:32:08 UTC
Как определяет свои пределы эволюционирующее и как ИИ? Само по себе определение пределов - это уже не выход за них. Эволюционирующее не знает своих пределов, а что считает своими пределами - не является ими.

Reply

kroopkin June 8 2024, 03:56:19 UTC
У меня схема "взгляда со стороны". Есть эко-ниша, и есть выход за нее. Вирус освоил тела летучих мышей. Его органеллы постоянно пробуют и другие тела. Бац, мутация, и вирус пошел по людям!..

Тут примерно как со знанием - о существовании предела тот-кто-внутри узнает по его, предела, преодолении.

Хотя, для животных (того, где можно разглядеть *сознание в когнитивистском смысле) возможно и знание: соседняя долина всем хороша, кроме отсутствия ресурсов для поддержания жизни... Но вот очередной туда набег обнаружил то, что можно есть... Шимпанзе "не идут" за пределы влажной саванны, а пред-люди эргастеры - пошли... Как и люди потом - пошли по всему миру - а неандертальцы в Африку - увы...

Reply

markshat June 8 2024, 05:41:37 UTC
«органеллы постоянно пробуют и другие тела» - это все же не дегустация или выбор в ресторанном меню) Просто в процессе функционирования они соприкасаются с разными организмами. И однажды «натыкаются» на такие, с которыми раньше не взаимодействовали, но с которыми взаимодействие возможно. Это определяется свойствами самих органелла и свойствами этих новых для них организмов. Они не решают, взаимодействовать или нет, они либо могут взаимодействовать, либо не могут. Это их эволюционные свойства и непрерывная трансформация окружающего их мира подталкивает их к проникновению в новые для них среды обитания ( ... )

Reply

kroopkin June 8 2024, 06:11:18 UTC
Свойственно вопрошать... Я полностью согласен с Вами, что эволюционный процесс на до-социумном уровне именно что бессознательный. Однако в беспорядочном движении тел иногда видно что-то. "Вопрошать" в моей фиксации свойства - оно не о разумной активности, оно о том, что пределы - хоть и беспорядочно - но время от времени штурмуются.

Reply


denparamonov June 9 2024, 10:43:33 UTC

В копилку -

Reply

kroopkin June 9 2024, 13:37:16 UTC
Спасибо!

Reply


kroopkin June 10 2024, 13:55:07 UTC

kroopkin June 10 2024, 14:02:27 UTC

Leave a comment

Up