Открытость (open-endedness): понятие шире, чем эволюция
Открытость (open-endedness) это идея, которая позволяет в разы компактней и точнее (т.е. с использованием мат.моделей) говорить про сложные вопросы "прогресса", "развития", "целеполагания", "эволюции", "вечного обучения", "постоянной инновации" и т.д.. Все эти вопросы про "батарея ржавеет: можно ли сказать, что она развивается? Что у батареи прогресс?".
Под словом open-endedness сегодня скрывается более общий концепт, чем даже "эволюция" (эволюция тут будет только частный случай) порождения всё более и более сложных объектов, вечно непрекращающегося творчества. Базовый текст декабря 2017 года можно найти тут: "Open-endedness: The last grand challenge you’ve never heard of", https://www.oreilly.com/ideas/open-endedness-the-last-grand-challenge-youve-never-heard-of. Это текст написан в соавторстве с Lisa Soros теми же Kenneth O.Stanley и Joel Lehman, которые в 2015 году написали книжку про важность новизны, "Why Greatness Cannot Be Planned: The Myth of the Objective" (https://b-ok.cc/book/2556650/4f33f2 в .pdf или https://b-ok.cc/book/2650876/509175 в epub). Я рекомендовал читать именно эту книгу в своей статье "Против целей (against objectives)", https://ailev.livejournal.com/1254147.html. И эта книга содержит подробности по части идей в концепции open-endedness.
Open-endedness переводится обычно как "открытость" или в крайнем случае "незавершённость", и весь аромат английского слова немедленно теряется. А ещё в таких алгоритмах отдельные "новинки" называются stepping stone, что тоже непереводимо (хотя даже в моём курсе стратегирования это слово есть). Будем переводить их как "ступеньки", но и это явное ухуджение исходного термина.
Неделю назад Stanley (он сейчас возглавляет лабораторию искусственного интеллекта в Uber) и Lehman сотоварищи получили экспериментальный результат, о котором сегодня много говорят в кругах исследователей и инженеров AI. В соответствии с подходом открытости, нужно не просто решать проблемы -- ибо сложность и изящество решения при этом ограничено сложностью проблемы. Нужно порождать проблемы одновременно с их решением. Скажем, порождать всё более и более сложные лабиринты или рельефы местности и учить робота проходить эти лабиринты или рельефы. И порождать не всё более сложные проблемы, а находящиеся в зоне "ближнего развития" -- не слишком трудные для решения, и не слишком лёгкие (тут в английском используется ещё одно интересное слово: goldilocks, означающее в том числе "не горячее, и не холодное, а в самый раз"). В Uber сделали соответствующий алгоритм, который усложняет среды для роботов одной своей половиной, а другой половиной обучает роботов проходить эти среды. И оказалось, что постепенно наученные роботы могут проходить конечные самые сложные среды, а попытки просто "решить проблему" без этих промежуточных научений проваливаются -- https://eng.uber.com/poet-open-ended-deep-learning/. Это результат января 2019 года, предлагается "первопроходец" (trailblazer) -- алгоритм, который оставляет след решений на создаваемой им же целине новых и новых проблем, новых и новых ситуаций.
А ещё обзор по развитию этих же идей open-endedness в части нейроэволюции эти же ребята из Uber опубликовали 7 января 2019 в "Nature. Machine intelligence" -- Designing neural networks through neuroevolution": https://www.nature.com/articles/s42256-018-0006-z. Основная идея: раз уж эволюция создала мозг человека, то и "мозг AI" эволюция тоже может создать. И даётся обзор текущих работ в этом направлении. A final critical opportunity for neuroevolution is to lead the effort to construct ‘open-ended’ algorithms. The main challenge in open-endedness is to create algorithms that produce interesting and increasingly complex discoveries indefinitely. The inspiration for open-endedness is evolution in nature, where all of life on Earth was discovered in a single run that has continued to produce new forms for over a billion years. If we can learn how to program algorithms that are similarly perpetually interesting, we could capture a profoundly powerful aspect of the creativity of nature, and direct it for our own purposes. While a straightforward application of open-endedness is to generate new artefacts such as buildings, clothing and architectures without bound, a more intriguing possibility is that because of its complexity, AGI itself is only possible to discover through an open-ended process that generates more and more complex brain-like structures indefinitely. Furthermore, open-endedness may require more than only neural networks to evolve-brains and bodies evolve together in nature, and so can morphologies evolve along with neural networks in artificial systems, providing a form of embodiment. In the long run, open-endedness could be the fuel for generating the architectures and learning algorithms that ultimately reach human-level intelligence. The race is on now in neuroevolution research to develop the mechanisms of open-endedness that can innovate without boundaries, which we consider a grand challenge of scientific enquiry.
Нужно помнить, что в силу теоремы о бесплатных обедах, нет алгоритма, который с одинаковой лёгкостью бы решал любые задачи, всегда есть потребности в новых и новых алгоритмах -- новые алгоритмы будут решать более легко те задачи, которые трудно решают старые алгоритмы. Принцип open-endedness говорит, что нужно при этом не забывать так же активно пополнять и множество задач. И делать это бесконечно, стремясь к астрономической сложности новых задач, получая такие же сложные решающие их новые алгоритмы по мере достижения астрономически больших времён работы этого открытого алгоритма порождения задач-и-решений.
Тут нужно учесть, что сам принцип соревнования, присутствующий в сегодняшних моделях обучения AI (например, Шмитхубера http://people.idsia.ch/~juergen/unsupervised-neural-nets-fight-minimax-game.html, GAN, обучение алгоритма игры в Го, шахматы и шашки AlphaZero) -- это частный случай тех принципов соревнования предлагателей проблем и решателей проблем, который предполагает концепция open-endedless. В том числе речь идёт и о развитии интеллекта: я когда-то задавал вопрос Дж.Гриндеру, считает ли он перспективным "остановку внутреннего диалога" и прочие средства обеспечения "единства сознания". Он отвечал, что не считает: для развития всегда должно быть некоторое противоборство, а хоть и в одном мозгу. Единство -- это путь к стагнации, а не к развитию/эволюции/прогрессу, как это не назови. Я подробней писал об этом в "Цикл Бойда", GAN и авианосец "Клемансо" против буддизма", 2017, https://ailev.livejournal.com/1330906.html. Сегодня эту "борьбу за новое" и реализующие её архитектуры можно обсуждать как реализацию принципа открытости (open-endedness).
Тем, кто учит мокрые нейронные сетки естественному интеллекту, нужно отслеживать подходы, которые пробуются сегодня в сфере AI. В сфере AI нужно научить много более тупой кремний, и нельзя полагаться на то, что этот кремний обучится сам, если ему дать железное тело с моторчиками, снабдить множеством датчиков и не мешать быть любопытным к миру. Возможности сегодняшнего AI более чем ограничены, поэтому инженерам AI нужно точней определяться с подходами, точней оперировать терминологией, чем педагогам -- разработчикам "естественного интеллекта". Ибо естественный интеллект может справиться и без педагогов, это легко представить. А AI без инженеров (пока) не справляется.
Моё предолжение радикально: я предлагаю в традиционной педагогике (и андрагогике -- педагогике для взрослых) задействовать новые принципы и связанную с ними терминологию из сферы AI вместо опоры на традиционную мутную педагогическую терминологию, а то и вообще вместо опоры на на ходу придумываемые собственные образованческие идеи. Ведь все мы учим понемногу чему-нибудь, и как-нибудь. Вот я предлагаю это "как-нибудь" формулировать так же, как это делают в сфере AI. При этом, конечно, в сфере AI считают, что они черпают вдохновение в "традиционном обучении". Ну да, они берут там идеи, дорабатывают их, чистят, блистят, и потом используют. Вот и давайте пользоваться этим ректификатом, очищенным образовательным знанием.
Что нужно брать из этих идей open-endedness прямо сейчас?
-- рынок, культура и прочие процессы, которые ведут к появлению всё более и более сложных артифактов, можно обсуждать как open-ended и перестать говорить, что они именно "эволюции". В том числе и предпринимательство получает какой-то свой подход: постоянно растующая техносреда, в которой появляется всё больше и больше проблем, и всё больше и больше адекватных решений этим проблемам -- и это открытый процесс, это будет продолжаться всегда.
-- учить нужно образовательными ступеньками, которые состоят из проблем и обучения их преодолевать. И эти проблемы нужно порождать в зоне "ближнего развития". При таком способе обучения получается более фундаментальное образование: знание более легко переносится на другие предметные области. Тем самым обеспечивающая обучение система должна прежде всего содержать порождение проблем/задач/упражнений.
-- и я бы ещё сюда отнёс рассуждение Романа Михайлова о том, что Перельман глубоко неправ: он решил проблему, но не оставил идущим за ним следующей проблемы -- а именно это и есть алгоритм развития математики: 1. докажи, что можешь что-то, решив признанную проблему. 2. после доказательства поставь новую проблему -- так как ты что-то можешь (доказал), то это с большой вероятностью будет интересная проблема. Увы, я не нашёл ссылки на то место, где Роман говорил об этом. Но это ровно формулирование одного из принципов open-endedness: постоянная генерация не только решений проблем, но и самих проблем.
-- мой любимый текст из good old AI -- это про accretion model of theory formation от Douglas Lenat, про программу Eurisco, которая должна была изобретать теорию и успешно её изобретала. Но вычислительных мощностей тогда не хватало (вот тут я повторяю основные постулаты этой теории в связи с онтосинтезом, 2016: https://ailev.livejournal.com/1262741.html). Идея в том, что сегодня и про алгоритмику известно много больше, и про open-endedness, и вычислительных мощностей у нас много больше. Так что интересно было бы даже просто взять и запустить современную Eurisco на современных компьютерах с GPU и поглядеть, что получится. Тут, кстати, железо может быть нужно более общее, чем именно ускорители нейронных сетей, так что NVIDIA GPU, которые целятся в том числе на сегмент высокопроизводительных вычислений (HPC), могут оказаться для этих open-ended алгоритмов к месту, в отличие от чисто тензорных вычислителей.
-- получается, что льюисовские возможные миры и контрфактуальность -- это тоже в каком-то смысле ход на получение рассуждений, выживающих во всех этих мирах. Всё более и более сложные миры-проблемы, всё более и более сложное выживание в этих мирах. Нужны не все миры, нужны интересные миры. Вот на этих интересных, goldilocks мирах и нужно сосредотачиваться.
-- ... об этом всём во многих местах говорится, но предлагаемый подход позволяет один раз тщательно сформулировать небольшой набор понятий, чтобы более-менее единообразно говорить о многих и многих спорных явлениях "прогресса", "развития", "инновации" и т.д.. Ибо одни и те же ходы мысли, одни и те же аргументы повторяются в самых разных академических и инженерных тусовках. Вот и вынести за скобки эти обсуждения. А то чуть что -- и получаем эзотерику, где самый мягкий вариант -- это Гегель с его диалектикой и вечноразвивающимся Духом. Нет. Никакой абстрактной диалектики с невнятными законами, никаких духов. Никакого Уилбера, где системы-системы-системы, эволюция-эволюция-эволюция, а потом бабах -- и опять дух. Нет, не дух, а просто open-ended процесс.
Disclaimer. Этот текст не предполагает, что вы что-нибудь поймёте, если вы не будете сами смотреть материалы по упомянутым в нём ссылкам. Этот текст не предназначен для попсового пересказа материала по ссылкам, он для презентации моих собственных мыслей по поводу материалов по этим ссылкам. Считайте, что это для довольно узкого круга людей -- и я точно знаю, что этот узкий круг читающих подобные тексты людей существует. Они отличаются тем, что читают не только сами буковки из поста, но и по ссылкам проходят. Чудо, что такие люди существуют и в 2019 году, я им глубоко благодарен просто за факт их выживания. Как сказал Питер Тиль, "мы хотели летающие автомобили, а вместо этого получили 140 знаков" (да, я знаю, что эта цитата про инвестиции в ненужное, но она хорошо отражает суть момента, когда и одна страница это многабукофф). Этот мой текст, кстати, 12680 знаков с пробелами, чуть больше 5 старинных машинописных страничек через полтора интервала (https://ru.wikipedia.org/wiki/Машинописная_страница).
UPDATE: дискуссия в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10214663909205446
Под словом open-endedness сегодня скрывается более общий концепт, чем даже "эволюция" (эволюция тут будет только частный случай) порождения всё более и более сложных объектов, вечно непрекращающегося творчества. Базовый текст декабря 2017 года можно найти тут: "Open-endedness: The last grand challenge you’ve never heard of", https://www.oreilly.com/ideas/open-endedness-the-last-grand-challenge-youve-never-heard-of. Это текст написан в соавторстве с Lisa Soros теми же Kenneth O.Stanley и Joel Lehman, которые в 2015 году написали книжку про важность новизны, "Why Greatness Cannot Be Planned: The Myth of the Objective" (https://b-ok.cc/book/2556650/4f33f2 в .pdf или https://b-ok.cc/book/2650876/509175 в epub). Я рекомендовал читать именно эту книгу в своей статье "Против целей (against objectives)", https://ailev.livejournal.com/1254147.html. И эта книга содержит подробности по части идей в концепции open-endedness.
Open-endedness переводится обычно как "открытость" или в крайнем случае "незавершённость", и весь аромат английского слова немедленно теряется. А ещё в таких алгоритмах отдельные "новинки" называются stepping stone, что тоже непереводимо (хотя даже в моём курсе стратегирования это слово есть). Будем переводить их как "ступеньки", но и это явное ухуджение исходного термина.
Неделю назад Stanley (он сейчас возглавляет лабораторию искусственного интеллекта в Uber) и Lehman сотоварищи получили экспериментальный результат, о котором сегодня много говорят в кругах исследователей и инженеров AI. В соответствии с подходом открытости, нужно не просто решать проблемы -- ибо сложность и изящество решения при этом ограничено сложностью проблемы. Нужно порождать проблемы одновременно с их решением. Скажем, порождать всё более и более сложные лабиринты или рельефы местности и учить робота проходить эти лабиринты или рельефы. И порождать не всё более сложные проблемы, а находящиеся в зоне "ближнего развития" -- не слишком трудные для решения, и не слишком лёгкие (тут в английском используется ещё одно интересное слово: goldilocks, означающее в том числе "не горячее, и не холодное, а в самый раз"). В Uber сделали соответствующий алгоритм, который усложняет среды для роботов одной своей половиной, а другой половиной обучает роботов проходить эти среды. И оказалось, что постепенно наученные роботы могут проходить конечные самые сложные среды, а попытки просто "решить проблему" без этих промежуточных научений проваливаются -- https://eng.uber.com/poet-open-ended-deep-learning/. Это результат января 2019 года, предлагается "первопроходец" (trailblazer) -- алгоритм, который оставляет след решений на создаваемой им же целине новых и новых проблем, новых и новых ситуаций.
А ещё обзор по развитию этих же идей open-endedness в части нейроэволюции эти же ребята из Uber опубликовали 7 января 2019 в "Nature. Machine intelligence" -- Designing neural networks through neuroevolution": https://www.nature.com/articles/s42256-018-0006-z. Основная идея: раз уж эволюция создала мозг человека, то и "мозг AI" эволюция тоже может создать. И даётся обзор текущих работ в этом направлении. A final critical opportunity for neuroevolution is to lead the effort to construct ‘open-ended’ algorithms. The main challenge in open-endedness is to create algorithms that produce interesting and increasingly complex discoveries indefinitely. The inspiration for open-endedness is evolution in nature, where all of life on Earth was discovered in a single run that has continued to produce new forms for over a billion years. If we can learn how to program algorithms that are similarly perpetually interesting, we could capture a profoundly powerful aspect of the creativity of nature, and direct it for our own purposes. While a straightforward application of open-endedness is to generate new artefacts such as buildings, clothing and architectures without bound, a more intriguing possibility is that because of its complexity, AGI itself is only possible to discover through an open-ended process that generates more and more complex brain-like structures indefinitely. Furthermore, open-endedness may require more than only neural networks to evolve-brains and bodies evolve together in nature, and so can morphologies evolve along with neural networks in artificial systems, providing a form of embodiment. In the long run, open-endedness could be the fuel for generating the architectures and learning algorithms that ultimately reach human-level intelligence. The race is on now in neuroevolution research to develop the mechanisms of open-endedness that can innovate without boundaries, which we consider a grand challenge of scientific enquiry.
Нужно помнить, что в силу теоремы о бесплатных обедах, нет алгоритма, который с одинаковой лёгкостью бы решал любые задачи, всегда есть потребности в новых и новых алгоритмах -- новые алгоритмы будут решать более легко те задачи, которые трудно решают старые алгоритмы. Принцип open-endedness говорит, что нужно при этом не забывать так же активно пополнять и множество задач. И делать это бесконечно, стремясь к астрономической сложности новых задач, получая такие же сложные решающие их новые алгоритмы по мере достижения астрономически больших времён работы этого открытого алгоритма порождения задач-и-решений.
Тут нужно учесть, что сам принцип соревнования, присутствующий в сегодняшних моделях обучения AI (например, Шмитхубера http://people.idsia.ch/~juergen/unsupervised-neural-nets-fight-minimax-game.html, GAN, обучение алгоритма игры в Го, шахматы и шашки AlphaZero) -- это частный случай тех принципов соревнования предлагателей проблем и решателей проблем, который предполагает концепция open-endedless. В том числе речь идёт и о развитии интеллекта: я когда-то задавал вопрос Дж.Гриндеру, считает ли он перспективным "остановку внутреннего диалога" и прочие средства обеспечения "единства сознания". Он отвечал, что не считает: для развития всегда должно быть некоторое противоборство, а хоть и в одном мозгу. Единство -- это путь к стагнации, а не к развитию/эволюции/прогрессу, как это не назови. Я подробней писал об этом в "Цикл Бойда", GAN и авианосец "Клемансо" против буддизма", 2017, https://ailev.livejournal.com/1330906.html. Сегодня эту "борьбу за новое" и реализующие её архитектуры можно обсуждать как реализацию принципа открытости (open-endedness).
Тем, кто учит мокрые нейронные сетки естественному интеллекту, нужно отслеживать подходы, которые пробуются сегодня в сфере AI. В сфере AI нужно научить много более тупой кремний, и нельзя полагаться на то, что этот кремний обучится сам, если ему дать железное тело с моторчиками, снабдить множеством датчиков и не мешать быть любопытным к миру. Возможности сегодняшнего AI более чем ограничены, поэтому инженерам AI нужно точней определяться с подходами, точней оперировать терминологией, чем педагогам -- разработчикам "естественного интеллекта". Ибо естественный интеллект может справиться и без педагогов, это легко представить. А AI без инженеров (пока) не справляется.
Моё предолжение радикально: я предлагаю в традиционной педагогике (и андрагогике -- педагогике для взрослых) задействовать новые принципы и связанную с ними терминологию из сферы AI вместо опоры на традиционную мутную педагогическую терминологию, а то и вообще вместо опоры на на ходу придумываемые собственные образованческие идеи. Ведь все мы учим понемногу чему-нибудь, и как-нибудь. Вот я предлагаю это "как-нибудь" формулировать так же, как это делают в сфере AI. При этом, конечно, в сфере AI считают, что они черпают вдохновение в "традиционном обучении". Ну да, они берут там идеи, дорабатывают их, чистят, блистят, и потом используют. Вот и давайте пользоваться этим ректификатом, очищенным образовательным знанием.
Что нужно брать из этих идей open-endedness прямо сейчас?
-- рынок, культура и прочие процессы, которые ведут к появлению всё более и более сложных артифактов, можно обсуждать как open-ended и перестать говорить, что они именно "эволюции". В том числе и предпринимательство получает какой-то свой подход: постоянно растующая техносреда, в которой появляется всё больше и больше проблем, и всё больше и больше адекватных решений этим проблемам -- и это открытый процесс, это будет продолжаться всегда.
-- учить нужно образовательными ступеньками, которые состоят из проблем и обучения их преодолевать. И эти проблемы нужно порождать в зоне "ближнего развития". При таком способе обучения получается более фундаментальное образование: знание более легко переносится на другие предметные области. Тем самым обеспечивающая обучение система должна прежде всего содержать порождение проблем/задач/упражнений.
-- и я бы ещё сюда отнёс рассуждение Романа Михайлова о том, что Перельман глубоко неправ: он решил проблему, но не оставил идущим за ним следующей проблемы -- а именно это и есть алгоритм развития математики: 1. докажи, что можешь что-то, решив признанную проблему. 2. после доказательства поставь новую проблему -- так как ты что-то можешь (доказал), то это с большой вероятностью будет интересная проблема. Увы, я не нашёл ссылки на то место, где Роман говорил об этом. Но это ровно формулирование одного из принципов open-endedness: постоянная генерация не только решений проблем, но и самих проблем.
-- мой любимый текст из good old AI -- это про accretion model of theory formation от Douglas Lenat, про программу Eurisco, которая должна была изобретать теорию и успешно её изобретала. Но вычислительных мощностей тогда не хватало (вот тут я повторяю основные постулаты этой теории в связи с онтосинтезом, 2016: https://ailev.livejournal.com/1262741.html). Идея в том, что сегодня и про алгоритмику известно много больше, и про open-endedness, и вычислительных мощностей у нас много больше. Так что интересно было бы даже просто взять и запустить современную Eurisco на современных компьютерах с GPU и поглядеть, что получится. Тут, кстати, железо может быть нужно более общее, чем именно ускорители нейронных сетей, так что NVIDIA GPU, которые целятся в том числе на сегмент высокопроизводительных вычислений (HPC), могут оказаться для этих open-ended алгоритмов к месту, в отличие от чисто тензорных вычислителей.
-- получается, что льюисовские возможные миры и контрфактуальность -- это тоже в каком-то смысле ход на получение рассуждений, выживающих во всех этих мирах. Всё более и более сложные миры-проблемы, всё более и более сложное выживание в этих мирах. Нужны не все миры, нужны интересные миры. Вот на этих интересных, goldilocks мирах и нужно сосредотачиваться.
-- ... об этом всём во многих местах говорится, но предлагаемый подход позволяет один раз тщательно сформулировать небольшой набор понятий, чтобы более-менее единообразно говорить о многих и многих спорных явлениях "прогресса", "развития", "инновации" и т.д.. Ибо одни и те же ходы мысли, одни и те же аргументы повторяются в самых разных академических и инженерных тусовках. Вот и вынести за скобки эти обсуждения. А то чуть что -- и получаем эзотерику, где самый мягкий вариант -- это Гегель с его диалектикой и вечноразвивающимся Духом. Нет. Никакой абстрактной диалектики с невнятными законами, никаких духов. Никакого Уилбера, где системы-системы-системы, эволюция-эволюция-эволюция, а потом бабах -- и опять дух. Нет, не дух, а просто open-ended процесс.
Disclaimer. Этот текст не предполагает, что вы что-нибудь поймёте, если вы не будете сами смотреть материалы по упомянутым в нём ссылкам. Этот текст не предназначен для попсового пересказа материала по ссылкам, он для презентации моих собственных мыслей по поводу материалов по этим ссылкам. Считайте, что это для довольно узкого круга людей -- и я точно знаю, что этот узкий круг читающих подобные тексты людей существует. Они отличаются тем, что читают не только сами буковки из поста, но и по ссылкам проходят. Чудо, что такие люди существуют и в 2019 году, я им глубоко благодарен просто за факт их выживания. Как сказал Питер Тиль, "мы хотели летающие автомобили, а вместо этого получили 140 знаков" (да, я знаю, что эта цитата про инвестиции в ненужное, но она хорошо отражает суть момента, когда и одна страница это многабукофф). Этот мой текст, кстати, 12680 знаков с пробелами, чуть больше 5 старинных машинописных страничек через полтора интервала (https://ru.wikipedia.org/wiki/Машинописная_страница).
UPDATE: дискуссия в фейсбуке -- https://www.facebook.com/ailevenchuk/posts/10214663909205446