lytdybr
Неделя ушла на подготовку докладов и обсуждения в Бекасово, ещё неделя на подготовку докладов и обсуждения на нашей конференции. Судя по итогам конференции, вполне оправдывается расчёт на то, что будет кому вести методическую работу, если я на довольно заумном методологическом уровне буду готовить качественные материалы, не особо отвлекаясь на методическую работу самому. А если я не буду готовить эти замуные материалы, то и методической работы не случится. Так что я продолжу, тем более что все ходы до конца 2022 года записаны (и нужно только определиться с порядком выполнения. При этом самый большой соблазн тут будет залезть слишком глубоко в исследования вместо связного описания того, что уже понятно -- соблюдение release early, release often):
-- ОдО2022 со всеми его новациями. Программный культуртрегерский текст, удерживающий всю образовательную конструкцию Школы: содержание образования в части усиления интеллекта путём перепрошивки мозга фундаментальным образованием в версии 2022 года. Это самое важное.
-- вводная глава в курс (безмасштабной) системной инженерии. Должна быть готова даже не к июлю 2022, когда должен выйти уже весь курс, а раньше (ибо авторы остальных глав наверняка будут ориентироваться на этот текст). Ограничение: не дублировать ОдО2022, учебник системного мышления и методологии, и ещё курс системного менеджмента. А ещё туда должны откочевать невостребованные пока части "Системноинженерного мышления 2015", после чего та старая книжка будет, наконец, уволена в помойку истории.
-- дальше переработка системного мышления и методологии (будет два тома, хотя удалять из "системного мышления" размышления про жизненный цикл как-то не хочется. Что-нибудь придумаю. При этом в "Методологию" нужно будет забрать материал по жизненному циклу и практикам из системного менеджмента).
-- дальше переработка системного менеджмента (инженерия предприятия, включая операционный менеджмент и принятие управленческих решений как эксплуатационную инженерию организационной системы).
-- и ещё курс стратегирования, куда войдёт ещё и обновлённая первая часть ОдО2021, где рассказывалось о персональном стратегировании. Но это уже по остаточному принципу, последним пунктом.
В deep learning продолжаются два прорыва в неделю (я услышал про эти два прорыва в неделю от В.Дунина-Барковского ещё в 2016 году, https://ailev.livejournal.com/1312922.html, но все уже так привыкли к чудесам, что "два прорыва в неделю" уже и не замечаются. А это в человечестве сейчас ключевой процесс, войны и экономические кризисы тут мелкая рябь по сравнению с вот этим происходящим, на войны оно ведь тоже повлияет, равно как на скоростное восстановление от последствий этих войн)/ Вот языковая/foundations модель BaGuaLu на 174 триллиона параметров, https://dl.acm.org/doi/epdf/10.1145/3503221.3508417. The evaluation shows that BaGuaLu has the capability to train 174-trillion-parameter models, which rivals the number of synapses in a human brain (это только capability/возможность, а в реальности обучили 14.7 триллионов параметров, на смешанной разрядности плавающих скорость была больше 1 экзафлопса -- использовали полноценный суперкомпьютер). Что может такая нейронная сетка (там в 174 триллиона параметров сетке 96тыс. экспертов, то есть это не совсем таки "одна сетка"). Первый автор в этой работе спец по суперкомпьютерам, второй -- спец по разгону нейросеток (вот его статья по разгону популярного подхода MOE/mixture of experts в примерно 18 раз: https://dl.acm.org/doi/epdf/10.1145/3503221.3508418). Что интересно, так это нам ничего не говорят о возможностях этих уникальных огромных сеток (подозреваю, что они не так хороши, как их размеры). Только о том, что их вообще удаётся натренировать, достигая огромного параллелизма в вычислениях за счёт многочисленных хитроумных приёмов. Я писал 7 апреля 2021 (https://ailev.livejournal.com/1621997.html) о нейросетке PaLM, которая имеет всего 0.5 триллиона параметров, но во многих задачах достигает результатов среднего человека -- https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html. Тут, конечно, "гонка триллионов параметров" упирается в то, что одна хорошо связная нейросетка-трансформер или аналогичная по принципам их архитектуры тренируется тяжелее всех этих полчищ "экспертов", но показывает более интересные результаты. Размер имеет значение, но и алгоритм имеет значение. Сходите ещё раз по последней ссылке, полюбуйтесь на дерево возможных приложений в зависимости от числа параметров. Попробую перепостить сюда эту гифку, она восхитительна и показывает, что нас ждёт, когда все эти технологии подешевеют, чтобы из лабораторий появиться в продуктах:
Смотрел несколько разных политических новостных лент. Все они ужасны. Анна Лубенченко в курсе собранности собирается затронуть эту тему (рассказывала на конференции): хотим ли мы потреблять эти тщательно сконструированные помои для мозга, которые сконструированы специально таким образом, чтобы прорывались через нашу собранную рациональность (это ж вирусы, которые всеми этими политтехнологами как раз конструируются именно как вирусы, которые должны прорываться), или таки воздержимся от их применения. Скажем, во всех лентах "пятеро человек бла-бла-бла" (неважно, что с ними в новости: убиты, сдались в плен, освобождены и спасены, перешли куда-то, защитили что-то, высказали протест или поддержку, и т.д.). Ты прикидываешь, что там с каждой стороны как-то задействовано где-то минимально по 50тыс. человек (хотя были оценки и побольше), и речь идёт о чём-то, составляющем примерно 0.005% от происходящего ужаса с участием сотни тысяч человек, но зато в ленте новостей это отвечает правилу пиарщика-меметика "покажите им наглядную картинку одного небольшого ужасного/прекрасного примера, большие цифры люди не воспринимают". Рациональный мозг тебе подсказывает, что знание (обычно очень частной правды, всё ж пятнадцать раз отцензурировано!) по 0.005% от ситуации мало что даёт в представлении о происходящем с остальными 99.995% участников только по военной линии, а ещё ведь есть все остальные "гражданские", о ком вообще молчок. Ох, не пей из копытца, козлёночком станешь. Ещё и обсуждать происходящее можно только как в советское время: читая между строк или иносказаниями, это окончательно не даёт шансов рационально помыслить о происходящем. Плюс тщательно сконструированные фейки (включая такие фейки, что правда это тщательно сконструированный фейк). План тут остаётся прежний:
-- массово делать людей собранными, чтобы они могли учиться, а не только тупить в соцсети. И тут нужно ещё уговорить их стать собранными!
-- поднимать людям интеллект, включая знания по инженерии (в том числе элементарному умению что-то сделать в физическом мире, выполнить какой-то проект по изменению мира, в том числе изменению систем высших эволюционных уровней). Тут тоже нужно как-то удержать их в обучении, пока не поумнеют.
-- и делать это для всего глобуса без исключений, в режиме release early, release often, чем я и занимаюсь.
-- ожидать, что умные люди с их компьютерами таки существенно повлияют на общую ситуацию (как минимум, сделают иммунную систему для мемовирусов и научатся прорывать силовое затыкание ртов рационально мыслящим людям), причём не одним каким-то проектом и реализацией одной какой-то идеи, а огромным их числом -- нет надежды на какое-то одно "решение". Я тут оптимист: прогресс неостановим, знания решают всё.
-- ОдО2022 со всеми его новациями. Программный культуртрегерский текст, удерживающий всю образовательную конструкцию Школы: содержание образования в части усиления интеллекта путём перепрошивки мозга фундаментальным образованием в версии 2022 года. Это самое важное.
-- вводная глава в курс (безмасштабной) системной инженерии. Должна быть готова даже не к июлю 2022, когда должен выйти уже весь курс, а раньше (ибо авторы остальных глав наверняка будут ориентироваться на этот текст). Ограничение: не дублировать ОдО2022, учебник системного мышления и методологии, и ещё курс системного менеджмента. А ещё туда должны откочевать невостребованные пока части "Системноинженерного мышления 2015", после чего та старая книжка будет, наконец, уволена в помойку истории.
-- дальше переработка системного мышления и методологии (будет два тома, хотя удалять из "системного мышления" размышления про жизненный цикл как-то не хочется. Что-нибудь придумаю. При этом в "Методологию" нужно будет забрать материал по жизненному циклу и практикам из системного менеджмента).
-- дальше переработка системного менеджмента (инженерия предприятия, включая операционный менеджмент и принятие управленческих решений как эксплуатационную инженерию организационной системы).
-- и ещё курс стратегирования, куда войдёт ещё и обновлённая первая часть ОдО2021, где рассказывалось о персональном стратегировании. Но это уже по остаточному принципу, последним пунктом.
В deep learning продолжаются два прорыва в неделю (я услышал про эти два прорыва в неделю от В.Дунина-Барковского ещё в 2016 году, https://ailev.livejournal.com/1312922.html, но все уже так привыкли к чудесам, что "два прорыва в неделю" уже и не замечаются. А это в человечестве сейчас ключевой процесс, войны и экономические кризисы тут мелкая рябь по сравнению с вот этим происходящим, на войны оно ведь тоже повлияет, равно как на скоростное восстановление от последствий этих войн)/ Вот языковая/foundations модель BaGuaLu на 174 триллиона параметров, https://dl.acm.org/doi/epdf/10.1145/3503221.3508417. The evaluation shows that BaGuaLu has the capability to train 174-trillion-parameter models, which rivals the number of synapses in a human brain (это только capability/возможность, а в реальности обучили 14.7 триллионов параметров, на смешанной разрядности плавающих скорость была больше 1 экзафлопса -- использовали полноценный суперкомпьютер). Что может такая нейронная сетка (там в 174 триллиона параметров сетке 96тыс. экспертов, то есть это не совсем таки "одна сетка"). Первый автор в этой работе спец по суперкомпьютерам, второй -- спец по разгону нейросеток (вот его статья по разгону популярного подхода MOE/mixture of experts в примерно 18 раз: https://dl.acm.org/doi/epdf/10.1145/3503221.3508418). Что интересно, так это нам ничего не говорят о возможностях этих уникальных огромных сеток (подозреваю, что они не так хороши, как их размеры). Только о том, что их вообще удаётся натренировать, достигая огромного параллелизма в вычислениях за счёт многочисленных хитроумных приёмов. Я писал 7 апреля 2021 (https://ailev.livejournal.com/1621997.html) о нейросетке PaLM, которая имеет всего 0.5 триллиона параметров, но во многих задачах достигает результатов среднего человека -- https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html. Тут, конечно, "гонка триллионов параметров" упирается в то, что одна хорошо связная нейросетка-трансформер или аналогичная по принципам их архитектуры тренируется тяжелее всех этих полчищ "экспертов", но показывает более интересные результаты. Размер имеет значение, но и алгоритм имеет значение. Сходите ещё раз по последней ссылке, полюбуйтесь на дерево возможных приложений в зависимости от числа параметров. Попробую перепостить сюда эту гифку, она восхитительна и показывает, что нас ждёт, когда все эти технологии подешевеют, чтобы из лабораторий появиться в продуктах:
Смотрел несколько разных политических новостных лент. Все они ужасны. Анна Лубенченко в курсе собранности собирается затронуть эту тему (рассказывала на конференции): хотим ли мы потреблять эти тщательно сконструированные помои для мозга, которые сконструированы специально таким образом, чтобы прорывались через нашу собранную рациональность (это ж вирусы, которые всеми этими политтехнологами как раз конструируются именно как вирусы, которые должны прорываться), или таки воздержимся от их применения. Скажем, во всех лентах "пятеро человек бла-бла-бла" (неважно, что с ними в новости: убиты, сдались в плен, освобождены и спасены, перешли куда-то, защитили что-то, высказали протест или поддержку, и т.д.). Ты прикидываешь, что там с каждой стороны как-то задействовано где-то минимально по 50тыс. человек (хотя были оценки и побольше), и речь идёт о чём-то, составляющем примерно 0.005% от происходящего ужаса с участием сотни тысяч человек, но зато в ленте новостей это отвечает правилу пиарщика-меметика "покажите им наглядную картинку одного небольшого ужасного/прекрасного примера, большие цифры люди не воспринимают". Рациональный мозг тебе подсказывает, что знание (обычно очень частной правды, всё ж пятнадцать раз отцензурировано!) по 0.005% от ситуации мало что даёт в представлении о происходящем с остальными 99.995% участников только по военной линии, а ещё ведь есть все остальные "гражданские", о ком вообще молчок. Ох, не пей из копытца, козлёночком станешь. Ещё и обсуждать происходящее можно только как в советское время: читая между строк или иносказаниями, это окончательно не даёт шансов рационально помыслить о происходящем. Плюс тщательно сконструированные фейки (включая такие фейки, что правда это тщательно сконструированный фейк). План тут остаётся прежний:
-- массово делать людей собранными, чтобы они могли учиться, а не только тупить в соцсети. И тут нужно ещё уговорить их стать собранными!
-- поднимать людям интеллект, включая знания по инженерии (в том числе элементарному умению что-то сделать в физическом мире, выполнить какой-то проект по изменению мира, в том числе изменению систем высших эволюционных уровней). Тут тоже нужно как-то удержать их в обучении, пока не поумнеют.
-- и делать это для всего глобуса без исключений, в режиме release early, release often, чем я и занимаюсь.
-- ожидать, что умные люди с их компьютерами таки существенно повлияют на общую ситуацию (как минимум, сделают иммунную систему для мемовирусов и научатся прорывать силовое затыкание ртов рационально мыслящим людям), причём не одним каким-то проектом и реализацией одной какой-то идеи, а огромным их числом -- нет надежды на какое-то одно "решение". Я тут оптимист: прогресс неостановим, знания решают всё.