ЖЖ напомнил о круглой дате: ровно 10 лет назад я начал читать в МФТИ лекции по системной инженерии,
https://ailev.livejournal.com/981435.html. Интересное приключение получилось. Сначала лекции, потом разделение на системное мышление и системную инженерию. Потом разбирательство, что ж это в голову к этим студентам из системного мышления так мало попадает, постепенный приход к интеллект-стеку. И вот мы уже сегодня. Как-то незаметно время пролетело.
Некоторое время уже размышляю над темами культуртрегерства и методики. В курсе по курсам я привёл раскладку по практикам:
-- культуртрегерство (предпринимательство и политика). Тут и обнаружение SoTA, и понимание масштабов бедствия (надо ли разворачивать массовое обучение, или троих человек на планету будет достаточно), и просвещение (объяснение людям планеты, что им без какого-то важного мастерства никак не обойтись).
-- методология (описать SoTA), это вот ровно то, на что у меня сейчас уходит основное время. Разговоры на птичьем языке, при этом птичий он ровно потому, что его мало кто знает, никого ж ещё не научили новые слова понимать. По сути, мой блог в существенной мере сейчас про это. Текущий шаг на гармонизацию идей многоуровневой эволюции, квантовоподобного активного причинного обновления и так далее (скажем, вчерашний пост
https://ailev.livejournal.com/1612513.html) как раз на эту тему.
-- методика (найти способ быстро обучать SoTA), именно тут создание курсов, популярность и всё такое. И тут не просто “The work of the scholar becomes consequential only as it is understood by others”. Boyer, E.L. (1990). Нет, нужно ещё как-то попасть в широкие круги others и ещё связать содержание с примерами из жизни (в какой-то мере это пересекается с задачами продвижения). Традиционно на Западе объяснения делаются путём приглашения к знаменитому учёному знаменитого популяризатора (скажем, Judea Pearl пригласил Dana Mackenzie для The Book of Why), и "для знакомства" уровня "читал книгу как ездить на велосипеде" подойдёт. Но вот David Deutsch писал свои популярные книжки сам. В методике добавляем ещё и выполнение упражнений, поиск контекстов и облачение этого всего в форму курсов. Вот этим пока я сам для своих курсов почти не занимаюсь, покрытие упражнениями курсов минимальное. В какой-то мере этим занимаются другие преподаватели ШСМ (та же модель, что и на Западе, разделение методолога и методиста по людям, хотя я там в соавторах и не стою, просто "научный руководитель") но у меня вопрос -- в какой момент мне нужно будет самому этим озаботиться по части снижения когнитивной нагрузки (методист) и воспринимаемой когнитивной нагрузки (это и для продвижения важно, культуртрегер это должен учитывать) из expectancy value theory (
https://ailev.livejournal.com/1466484.html)? Ибо я могу ждать, пока другие преподаватели по кусочкам растащут в разные другие курсы тот же материал по интеллект-стеку. А могу просто взять и сделать методический проход сам (скажем, в системном мышлении я некоторое количество проблем такими методическими интервенциями решил, хотя из-за новых методологических результатов привнёс несколько новых проблем -- и курс в каких-то местах стал проще, а в каких-то местах продолжил быть зубодробительным). Но это будет вдвое длиннее. Скажем, я буду переписывать ОдО2021 вот буквально этим летом. Выдать туда только новую методологию (три месяца минимально) и ожидать, что разъяснят всё другие люди, или ещё и озаботиться "попсовостью" (ещё три месяца минимально) ибо "если не я, то кто"? Тяжкий вопрос.
-- преподавание (собственно учить, "оператор обучения"). Тут мне сказать нечего, я считаю, что в конечном итоге это идёт по линии EduOps (кто разрабатывает курсы, тот поначалу и учит), и мы знаем, что там будет NoOps
https://ailev.livejournal.com/1367897.html, этим пусть компьютеры занимаются.
-- и там ещё много чего разного (тьюторинг и работа с сообществом, организация образования), но пока ограничимся предыдущими четырьмя ролями.
Астрофизики (помним, у Дойча они вполне себе физические объекты) всполошились, что системная (в том числе инопланетная) жизнь проходит мимо них, и выдали статью про планетарный интеллект:
https://www.cambridge.org/core/journals/international-journal-of-astrobiology/article/intelligence-as-a-planetary-scale-process/5077C784D7FAC55F96072F7A7772C5E5. Вернадский и гипотеза Гайи (ох), Варела и Матурана, complex adaptive systems (CAS), эмерджентность и Колчинский с Волпертом. Статья ужасна, ибо написана в кибернетической парадигме (гомеостаз кислорода и углекислого газа в атмосфере), появляться должна техносфера, интеллектуальность проявляется в запрещении выпуска фреонов и прочему влиянию на атмосферу (астрофизики же!). Ну что ж, nice try. To conclude, an exploration of an exploration of planetary intelligence can draw together three domains of study: the evolution and function of Earth's biosphere; the current emergence of the technosphere in the Anthropocene; and the astrobiology of worlds inhabited by technologically capable exo-civilizations. После статей типа Ванчурина сотоварищи Филдса сотоварищи я бы поставил (а пресса уже полощет это во всех лентах ровно так) этот текст на одну полку с текстом о специальном компьютере Deep Thought, который в результате семи с половиной миллионов лет непрерывных вычислений наконец-то выдал ответ на ultimate question of life, the universe, and everything: "42". Deep Thought предложил создать другой, ещё более великий компьютер, который будет включать в себя живых существ как часть вычислительной системы, чтобы узнать, в чём, собственно, состоит Вопрос. Этот компьютер был назван Земля и был настолько огромен, что некоторыми по ошибке воспринимался как планета. Сами исследователи, которые управляли программами, выглядели как обычные мыши. Так что астрофизики просто начали догадываться о том, что давно было уже известно даже мышам!
Empire strikes back. Олдовые люди из AI с их символьным выводом вдруг опять становятся слышны в рассказках об AI:
-- про Лената и CYC я уже писал (
https://ailev.livejournal.com/1610230.html, видеозапись доклада
https://bit.ly/3L9YlDF). Это очень хороший доклад, ибо он позитивный: говорит, что делать.
-- Judea Pearl просто каждым своим твитом напоминает, что никакие вариации байесианства (впрочем, и неколмогоровской вероятности) не помогут, ибо нужны дискретные рассуждения в строгой логике (и предлагает графы причинности для этого, а вероятность тут для принятия решений в условиях неопределённости, а не для описания "случайностей"), вот его базовая работа про это, 2001 год, за восемь лет до 2009 года, когда он додавил формализацию причинности:
https://ftp.cs.ucla.edu/pub/stat_ser/r284-reprint.pdf. И теперь он гномит/гнобит всех, занимающихся большими языковыми моделями на нейронных сетях, ибо на его вопросы они заведомо не отвечают (хотя LeCun любит напомнить, что конечная архитектура может быть из многих нейросеток, и свойства там будут эмерджентные. Я тоже всем ровно это говорю. Мозг вполне себе универсальный компьютер, хотя там внутри именно нейросетки). Judea Pearl тоже позитивный, он тыкает туда, куда нужно грести (хотя после вчерашнего нужно смотреть, что там за "рациональность" и что делать с байесовскими сетями в его подходе, но они там на нижнем уровне просто вставной механизм).
-- Гарри Маркус скандалил долго, много и с удовольствием, вот свежее его выступление (и там есть транскрипт, нужно кликнуть для этого по строчке с словом transcript):
https://www.preposterousuniverse.com/podcast/2022/02/14/184-gary-marcus-on-artificial-intelligence-and-common-sense/. У него интересная логика, говорящая про невероятный прогресс в глубоком обучении в силу того, что 99.9% денег сегодня идут именно туда, а ещё что там вполне используются и разные другие подходы классического AI, да ещё и время от времени выигрывают (There was this competition presented at the NeurIPS Conference which is the biggest conference these days in the AI field just a month or so ago, on a game called NetHack, it has various complications in it, and a symbolic system actually won in an upset victory over all this deep learning stuff). И напоминает про Hardware Lottery,
https://arxiv.org/abs/2009.06489 (я трактую это как выигрыш тех алгоритмов, которые хорошо кладутся на текущую физику вычислений внизу компьютерного стека и архитектуру хардвера на более высоких уровнях, а не алгоритмов, которые хорошо кладутся на другую физику и другой хардвер -- и это как-то описывается у меня и в ОдО, это ж "как работает open-endedness", "всё новое приходит сбоку". Маркус говорит, что с GPU просто свезло deep learning, ибо распараллелили в аппаратуре умножения матриц, и одновременно интернет дал огромные объёмы данных для обучения. Ну да, "свезло" -- это про эволюцию, правильный язык). И вообще, все эти AlphaGo и AlphaFоld это гибридные системы, только пресса об этом молчит! Но он не говорит, что делать, кроме самых общих слов -- это просто канарейка в шахте, которая предупреждает, что "ща рванёт". Как будто кто-то этого не знает! Делать-то что? Не на уровне "добавьте символьных вычислений", а на уровне каких вычислений и куда добавить? Слова, что Lenat делает всё с common sense правильно, и неудача его в том, что начал слишком рано и тогда не было ещё таких инструментов, как прямо сейчас, не утешают. Но он чётко формулирует основную проблему: подобрать формулу к данным (symbolic discovery) недостаточно, нужно иметь объяснение -- теорию. Формулы движения планет, гелиоцентричность можно сапроксимировать символически (отсылка к
https://arxiv.org/abs/2111.12210), но нужно иметь гений Ньютона или потом Эйнштейна, чтобы предложить силы притяжения или искривление пространства-времени. Слайдеры крутим для подгонки функций уже имеющиеся, а новый набор слайдеров предложить некому (а именно это и есть результат науки: новые объяснения, основанные на новых понятиях. Именно про это говорит Дойч, в этом его ход на constructor theory). Вот это предложение новых репрезентаций для новых объяснений -- вот этим бы Маркус занял каких-нибудь людей, ибо решением предлагает не содержательное, а CERN для AI. С этого момента сразу неинтересно. Ибо вспоминается анекдот: "Пришёл изобретатель в ЦК КПСС, предложил прибор с двумя кнопками: чёрная кнопка когда нажимается -- происходит мировая революция, а красная кнопка нажимается -- на Земле устанавливается коммунизм. На вопрос, как же устроен прибор, ответ был -- на это у вас академия наук, пусть думает". Вот вот: сделаем CERN для AI, и дальше над всеми проблемами AI пусть он думает!
-- symbolic AI в огромных количествах находится в arxiv. И первое же что находится -- это предложение общефизической онтологии на базе топологических оснований в физике, и далее symbolic discovery. Проект назвали The Cyber-Physicist,
https://arxiv.org/abs/2202.03199 -- это работа людей из PARC (ага, это тот самый PARC, бывший ксерокс-энгельбартовский! Жив, курилка, хотя похвастаться в последнее время особо и нечем,
https://www.parc.com/about-parc/parc-history/!). В работе не слишком подробно, но показано как на основе данных подбираются формы уравнений в рамках An Ontology for Scientific Process (хотя там никакой квантовости, но обсуждение в чём-то похоже на то, что предлагают Deutsch и Marletto, когда говорят о "новой физике" -- отделение законов от принципов, где принципы -- это "законы о законах"). И там до чёртиков работ. Главный вывод: искать нужно даже не столько на "symbolic AI", сколько на "explainable AI" -- просто вал работ!
Ещё одно ну очень интересное направление -- это поставить сверхбыстрые мозги, уж какие есть, на сложные процессы управления. Например, удерживать плазму в токамаке. Впрочем, это оказалось лёгкой задачей. Если у вас есть нейросетка, которая вычисляется со скоростью 10кГц (это возможно, если использовать правильные компиляторы нейросеток на правильном железе), то вы можете удерживать в одном токамаке не только одну плазму, но и две плазмы, два региона --
https://www.deepmind.com/blog/article/Accelerating-fusion-science-through-learned-plasma-control. Или делать другие сложные формы (типа "снежинки", с центром и ножками), чтобы меньше греть стенки токамака в ненужных местах. Дальше с термоядерными токамаками всё может пойти неожиданно быстро, "всё новое приходит сбоку" -- и далее понеслось с disruption technologies. Теперь ждём по поводу токамаков каких-нибудь списочков будущих событий с отметками "вы находитесь здесь" и длинными тредами дискуссий про "каждый год там говорят, что через несколько лет". И отнюдь не только токамаков, повторноиспользуемые ракеты ведь ровно на этой технологии и возвращаются -- контроллеры, они везде контроллеры. Просто неуправляемое на 100Гц становится управляемым на 10кГц.
А coda.io наконец-то сделала произвольные объекты внутри таблицы, и обсуждение в нашем чате экзокортекса Роман Левентов начал с фразы "вот только теперь Coda строго лучше Notion",
https://t.me/exocortexssm/644. Вот новость:
https://community.coda.io/t/launched-bring-the-flexibility-of-the-canvas-inside-a-table-with-canvas-column-type/28951. Дальше дискуссия сместилась из обсуждения функциональности в обсуждение цен.
ВЦИОМ ко дню влюблённых вдруг подготовил книжку на 160 страниц о приключениях любви в современном российском обществе:
https://sociodigger.ru/3d-flip-book/2022vol3-16/. Начинается там с анализа фразы "никто никому ничего не должен", которая сейчас звучит из каждого утюга. Модификация "не верь, не бойся, не проси". Эхо молитвы гештальтиста. Опрос, проведённый ВЦИОМ специально к выходу книжки, показал, что с этим полностью согласно 7%, и это люди самого молодого возраста. Согласны 29% (включая и те 7% полностью согласных). Не согласны 68% (полностью не согласны 31%), и чем старше люди, тем больше не согласны. А в любви? В отношениях вне брака между людьми возникают обязательства -- с этим согласны 60%, мужчины и женщины одинаково.