На следующей неделе меня не будет аж до воскресенья -- я завтра вылетаю в США на NVIDIA GTC'18 (
https://www.nvidia.com/en-us/gtc/topics/deep-learning-and-ai/), где неделю буду пропитываться новинками самых разных платформ интеллект-стека. AI платформы на AI платформах и AI платформами погоняют. Момент восхитительный, в том числе для спецхардвера. Чего только стоят последние объявления по реализации свёрток (convolutions) оптическими вычислениями (
https://www.optalysys.com/) или попытки Intel продвинуть свой опенсорс компилятор nGraph с уровня ONNX (в том числе "мимо ONNX", напрямую из фреймворков) для разного ускорительного железа (я называл раньше это driver для ускорительной аппаратуры, но слово compiler таки победило), где поддерживаются и Intel-архитектуры, и (вынужденно!) CUDA --
https://ai.intel.com/ngraph-a-new-open-source-compiler-for-deep-learning-systems/. А от NVIDIA я жду объявлений по прояснению слухов с Turing и Ampere. Моя позиция тут в том, что просто "нейронным ускорителем" в современном AI не отделаешься, архитектура должна быть более универсальной. Победит не "специализированный вычислитель для свёрток", а штуковина, на которой в том числе и нейроэволюция будет вычисляться, и VAE и многое что другое. NVIDIA пока ползёт именно в этом направлении, и якорем тут служит её нацеленность на рынок HPC. Так что я просто не так много пишу в этом направлении, но продолжаю следить за ситуацией. В AI до сих пор идёт пара прорывов в неделю.
* * *
В голове моей тем временем крутятся несколько важных направления размышлений, совсем разные, но всё-таки пересекающиеся как-то (в жизни ведь всё со всем связно):
1. Сдвиги байесовских вероятностей в цепочке "грубых обучений", "грубых экспериментов" (эта тема обсуждается прямо сейчас на курсе онтологики, но я уже довольно давно её думаю). Если понимать, что после каждого эксперимента/свидетельства не подтверждается или опровергается утверждение, а уточняется оценка вероятности для этого утверждения, то появляется очень континтуитивный и общий способ мышления про мышление. Везде начинаешь замечать роль иерархии priors (включая обусловленные архитектурой мыслительной машинки priors, так называемые innate priors). В том числе становится понятным и естественным обучение на базе начальных кривых неправильных priors, которое оказывается, тем не менее, всегда лучше, чем обучение без priors вообще -- а сразу "из опыта", пробами и ошибками только, то есть "мы пойдём другим путём, с полного нуля" в мышлении оказывается хуже, чем "мы сильно подхакаем и улучшим наш текущий путь с уже достигнутых точек". Похоже, что иметь кривых учителей поначалу и быстро учиться от них оказывается систематически лучше, чем учиться сразу на жизненном опыте "пробы и ошибок". Лучше -- это в разы, часто на порядок лучше.
Последнее исследование из этой серии --
https://arxiv.org/abs/1803.03835. И так везде. Берём грубое-грубое приближение (прикидки a la Ферми, не точнее!), учим на нём, а потом только юстируем на материале реальных кейсов. В жизни это может означать, что все эти призывы "распустить мозги в труху и думать с нуля" -- это благоглупость, а правильно никогда не думать с нуля! Так, в той же психонетике есть идея воспитать мозг так, чтобы освободить от priors, полученных тяжким трудом жизни до зрелого возраста -- вот прямо чтобы синее можно было видеть как зелёное, и вообще вогнать мозг в режимы, которые он ещё не знал. И уж тогда попрёт творчество, будут получены результаты, которых у человечества ещё не было. Вся полемика в треде про Кастанеду (
https://ailev.livejournal.com/1415015.html -- и там идти по ссылке в фейсбук-дискуссию), похоже, ровно про это: кидаем камешки в никуда случайным образом, не обращаем внимание на priors и чего-то ждём от этого хорошего. Будет, будет хорошее, только задорого и плохого качества -- теряем десяток раз в эффективности по сравнению с опорой на priors.
Нужно искать и брать лучшие priors для начала обучения, и плясать от них. А не случайные priors. Начинать нужно как раз с того состояния, до которого доучились в лучших случаях, а не в любых случаях, и продолжать учить мозг дальше, а не прыгать в новые состояния, чтобы там найти какие-то совсем уж эффективные представления. Похоже, что за этим стоят ресурсные ограничения, но там как-то срабатывает и эмерджентность (ибо не только скорость обучения растёт, но и качество решений).
Это мутная ещё мысль, едва заметный тренд, но надо его думать. Я уже во многих работах вижу этот паттерн, он везде по-разному называется, но он один и тот же: "берём плечи каких-то гигантов и становимся на них, даже если они ну очень кривые и неправильные. Из этой точки достичь правильности получается в разы быстрее и качественнее, чем если двигаться полностью рандомно, начиная с нуля где-нибудь". Культура, эволюция. Эволюция накапливает, эволюция оказывается неожиданно быстра. Эту скорость накопления эволюционных изменений раньше любили иллюстрировать в статьях по эволюции, но явление это, похоже, наблюдается и за пределами чисто "мутаций" и "наследования" в их классическом смысле слова.
В нейросетках всё то же самое, хотя там не "мутации" и не "наследование". Но всё одно: учат на моделях, калибруют затем на реальном мире. Это то же самое: берут модельные priors, затем уточняют в эксперименте.
2. Линия психопрактик "стейкхолдерского мастерства". Я вот прочёл сто страниц из трёхсотпятидесяти насквозь метафорической книжки Ю.Дружкина про технику художественного транса (
http://sias.ru/upload/iblock/d3b/drugkin.pdf) и понимаю, что так онтики нельзя давать, так трансы нельзя описывать, на этой базе можно взять буквально одну-две идеи на целую книжку, но строить всё придётся разве что не с нуля. Какую онтику психопрактик взять в этом плане за priors мне непонятно, но школы актёрского мастерства тут просто как пример того, что вообще обучение психопрактикам для ролевых действий возможно -- но дальше нужно строить хорошее обучение, а не такое, какое написано в актёрских/искусствоведческих книжках, базирующихся на сплошных метафорах. Чтобы сделать хороший метод, нужно удирать из левой хаотической-образной части спектра мышления в правую часть, где можно компактно изложить материал и заодно проверить ошибки рассуждений -- ибо эта часть устроена достаточно формально, чтобы можно было проводить не слишком фантазийные рассуждения.
Тут психонетика по своему понятийному аппарату и общему подходу к психопрактикам мне много ближе (но не ближе теми целями, которые она ставит -- все эти "интеллектуальные труды вкривь настроенным мозгом" и верой в перенос достижений в одних практиках на другие), равно как обсуждения Кена Уилбера (который тоже старается говорить прямо, а не метафорами в традиционно насквозь метафорических случаях всяческих "просветлений" -- он обсуждает просветление как технический феномен главным образом, в этом его достоинство). И двигательный фитнес у нас так же, без метафор построен. И вообще, думать нужно про психопрактики жизнедеятельности, психопрактики актёрства, психопрактики отдельных видов социальных практик (танцы, клубы эзотериков с их опасными и вредными занятиями, восточные единоборства и т.д.). Тут ещё все авторы антипрокрастинаторских методик вдруг впадают в психопрактический раж -- что автор GTD, что автор джедайских техник вдруг начал про буддийские темы разговаривать. Ох, неспроста это. Тут нужно строить свою программу исследований.
3. Культура в части социальных перформерских практик, спорта и т.д.: моя гипотеза тут в том, что интуитивно как-то разделяются 1. практики личного развития (которые если освоить, то очевидно расширение потенциальных деятельностей, которые становится легче освоить -- типа двигательного фитнеса, после которого быстрее с танцами разобраться, и системного мышления, после которого быстрее разобраться с системной инженерией и менеджментом), 2. практики прикладные (системная инженерия, менеджмент, педагогика и т.д.), где люди обычно деньги зарабатывают, 3. практики социальные (социальные танцы и прочие перформерские искусства, эзотерические секты и т.д.), которыми главным образом занимаются для полноты ощущения жизни, получения в жизни надлежащих количеств адреналина, гормонов счастья и прочих радостей -- культурным способом, а не химическим путём. Так сказать, "гармонично развитый человек" -- это отнюдь не тот, который лично развит и "быстро учится всему, чему нужно". Нет, это ещё который поёт-танцует-декламирует на уровне "для себя и друзей" (не на уровне "денег зарабатывать на этом"!), а ещё что-то умеет делать так, что и деньги зарабатывать на этом может.
Вот это отдельное выделение "мира культуры", которым занимаются "в свободное от работы времени" для полноты жизни, и которому миру тоже нужно учить быстро и эффективно (несмотря на то, что тут вроде как "убивается время"), вот тут нужно тоже найти подходящую онтику для дальнейших размышлений. Не хотелось бы и тут строить всё с нуля.
4. Культура человеческого общежития в том же аспекте "viepoint = изнутри меня, любимого". Вот тут все эти "поиски смысла жизни" и "достойного существования", "золотые правила". Все эти "погони за счастьем" как цель жизни устарели и прокритикованы, строительство коммунизма фтопку в его разных вариантах, но вот хочется познакомиться с вариантом Джордана Петерсона (Jordan B.Peterson, "12 rules for life: an antidote to chaos",
http://b-ok.org/book/2826917/5142ac). Смахивает на такой вот методологический индивидуализм, где тебе не обещают счастья, а много знаний только умножает печали -- но эти печали не повод оставаться в неведении. И стыковать с "против целей", against objectives --
http://ailev.livejournal.com/1254147.html.
Да, всё это вроде как далековато получается от системной инженерии и системного менеджмента, но не так уж и далеко. Это про жизнедеятельность, а не деятельность: просто идём по холону выше и готовим не только темпоральную часть человека -- стейкхолдера, но и актёра, который играет роль, да и всего человека в целом, которому в жизни назначено быть актёром. Смотришь, и системным инженером или системным менеджером после такой подготовки (самоподготовки, внешней подготовки -- не различаем) становится человек другого калибра. И результаты можно будет ожидать соответствующие в профессиональной области, и качество жизни может оказаться получше. И жениться такой человек не забудет, и получать эмоции будет не только от выполнения планов-графиков и творческих инсайтов на работе, но и от множества других простых дел. Узкий специалист ведь подобен флюсу, полнота его одностороння -- это ещё Козьма Прутков заметил.
Вот ссылка в тему:
https://ideas.ted.com/why-dance-is-just-as-important-as-math-in-school/ ("In one evaluation, 95 percent of teachers said that, as a result of dancing together, students’ abilities to cooperate and collaborate improved" и т.д.).
* * *
На этой неделе ArfoFusion переехало в новое помещение, но я там пока так и не побывал. Теперь туда пешком 15 минут, и никакого траспорта, кроме самоката. Хороший повод перекроить своё танцевальное расписание и понять, что мне нужно от этой жизни.
А пока я вчера побывал на препати kizombaweekend с таксистами из Европы. Я столько таксистов ещё не видел в одном месте (при этом нужно учесть, что я вообще немного таких вечеринок видел вообще, я ж на ночные не выбираюсь обычно вечеринки). В итоге ушёл на полтора часа позже плана. Интересно, что у меня куда-то пропал комплекс неполноценности перед всеми этими таксистами. По факту, я смотрел на них, и понимал, что весь их не-шоу, а "рабочий" репертуар я тоже вполне себе делаю, недаром наша группа у Фортуновой промеж себя называется "филиал Парижа в Москве". Technical steps все у меня более-менее и в голове и в ногах, проблемы только в качестве исполнения: возможности всё это станцевать с любой партнёршей (а не только с нашими девочками из студии), осанке, музыкальности и т.д.. То есть моменты, связанные с классом меня-танцора в целом, и меньше связанные с пробелами именно в танце-кизомбе. Самое яркое впечатление вечера -- танец с самой Алёной Фортуновой, где пару раз я её удивил, полтора раза развлёк, а раза два не давал танцевать (потому как у нас в этот момент случались совсем разные понимания, что должно было бы происходить во время танца).
Так что есть куда стремиться: опыта танца с такого уровня партнёршами у меня ещё нет, хотя уже пора его приобретать, наверное. Я понимаю, что тут нужно просто самому начать танцевать получше, и такие партнёрши сами захотят со мной танцевать -- другого способа-то нет. Может быть, и Алёне когда-нибудь будет интересно со мной станцевать на вечеринке не только "преподавательский тренировочный танец". ;-)
В любом случае, через полтора года занятий вечеринки становятся чудесными сами собой, не сравнить с прежними ощущениями. Я понимаю, что немногие дотягивают до таких сроков обучения, но того стоит!
А сегодня я сходил на мастер-класс к таксистам, это учебная программа kizombaweekend. И главный вопрос был к методике преподавания. Когда преподаватели дают мастер-класс по кизомбе, они дают "знание": то, что можно использовать в самых разнообразных ситуациях. Как лучше исполнять те, или иные стили, как лучше вести партнёршу, как лучше обыгрывать музыку. А тут -- рассказали четыре "связки" (две из которых были похожи до неразличимости, хотя их давали разные ведущие), и всё. Ну, одну фишку в свой запас движений я могу взять изо всего этого материала. Ну две. Но это всего-навсего фишки, у меня их и без этого много. Почему они не научат меня быть танцором получше, почему они показывают "связки", роликами которых в изобилии завален интернет? Так что я больше не буду ходить к парижским таксистам учиться. Учиться нужно у преподавателей, они учат. А таксисты танцуют, развлекают, культурновремяпроводят. Завтра учебная программа kizombaweekend продолжится, но я планирую вместо неё провести время в самолёте. Похоже, я ничего не потеряю.
* * *
У Яндекса обнаружилось радио -- radio.yandex.ru, оно берёт мои вкусы в яндекс.музыке и очень хорошо играет музыку для работы. Вот прямо сейчас под него пишу, душевненько так. Попробуйте мой музак:
https://radio.yandex.ru/user/ailev* * *
Вьюнош не может выбрать, какой его профильный класс больше интересует: инженерный, или по информатике. Фишка в том, что туда нужно сдавать разные переводные экзамены, а экзамены будут проводиться в один день. Так что отложить выбор нельзя. Он выбрал пока инженерный, но душа его неспокойна: он чувствует подвох.
У него сплошные "диагностические работы" (то есть муляжные ОГЭ, вместе с заполнением бланков, "для тренировки"). Это конец третьей четверти, обучения в школе прекратилось по факту, идёт не узнавание предмета, а натаскивание на сдачу экзамена. Вьюнош уже путает, когда экзамены, когда подготовка к ним, когда тестировочные экзамены, когда тренировочные, когда диагностические, когда что. Нервы уже у всех в школе, как на зачётной неделе. А зачётная неделя в мае.
* * *
В Сан-Хосе, куда я лечу, всю неделю будет больше 30 градусов тепла. Но в выставочном центре я помню: там можно околеть от холода, во всех залах было градусов пятнадцать. И в Москве сейчас тоже не тепло. Что делать с одеждой, не понимаю. Откладываю решение на завтра, на "за пять минут до выхода из дома". Само как-нибудь рассосётся.