Поиск-ориентированная системная инженерия, 2019
Важное замечание от Rich Sutton, что весь прогресс в AI в конечном итоге определяется грубой вычислительной силой, а не хитрой алгоритмикой -- The Bitter Lesson, 13 марта 2019, http://www.incompleteideas.net/IncIdeas/BitterLesson.html. Как бы мы ни пытались кодировать AI, побеждают в конечном итоге методы, опирающиеся на огромные вычисления, связанные с поиском и обучением. Мир дико сложный, и его нужно как-то аппроксимировать в моделях. Но эти аппроксимации должны искать не люди, их должны находить (search) и выучивать (learn) простые алгоритмы, которые могут это делать лучше при добавлении вычислительной мощности, даже если текущие вычислительные мощности кажутся достаточными.
Я бы это замечание отнёс и к интеллектуальной деятельности всего человечества, делаемой в соответствии с "квазиэволюционностью", open-endedness: https://ailev.livejournal.com/1463013.html. Мы занимаемся изучением/исследованием/выучиванием окружающего мира, наука=learning. А в инженерии мы ищем/search решения. Я ещё в 2014 писал "поиск-ориентированная системная инженерия и другая пост-моделеориентированная жизнь", https://ailev.livejournal.com/1122876.html, и там "5. Компьютерный поиск (порождение, вывод, вычисление) требований, архитектуры, тестов -- это и есть следующее поколение системной инженерии, непосредственно следующее за переходом к моделеориентированности. Для этого нужно искусственное инженерное воображение (экономная генерация всё более и более подходящих вариантов инженерных решений) и искусственный инженерный вкус (умение оценить эти варианты)".
И это означает по факту, что по мере ухода науки в компьютеры она будет обзываться learning (в пределе -- self-supervised learning, https://github.com/jason718/awesome-self-supervised-learning). А по мере ухода инженерии в компьютеры она будет поиском решений -- search. И прежде всего архитектурным поиском, architectural search (поиском самого важного -- настолько важного, что при нахождении другого решения придётся перенаходить все остальные решения). И это будет поиск не только нейроархитектур, но и архитектур общего вида (пример поиска архитектуры тела робота я давал уже в первом абзаце https://ailev.livejournal.com/1469543.html). Все работы по алгоритмике обучения (deep learning в том числе) и алгоритмике поиска (архитектурного поиска, но в том числе и различные generative подходы, типа GAN) -- это работы по алгоритмике науки и инженерии.
Если делать сегодня курс системной инженерии, то опираться нужно именно на эти рассуждения и делать курс совместимым с именно этой методологией разработки, этой терминологией, которая берётся из AI-intensive systems. Авиастроение девяностых или даже автостроение нулевых (software-intensive systems, cyber-physics systems) уже не подходят. А вот то, что происходит сейчас с беспилотниками и роботами -- вот это самое оно. Это сегодняшний фронтир (и даже немного дальше, чем фронтир), завтрашний мейнстрим. Нужно осмыслять происходящее сейчас с data engineering, data science (это по факту одно с software engineering, computer science, недаром Хинтон, Бенжио и ЛеКун получили тьюринговую премию пару недель назад, их ACM, Association for computing machinery, признала за своих -- https://awards.acm.org/about/2018-turing. Алгоритмы глубокого обучения, алгоритмы AI, просто алгоритмы эти работают с данными -- но какие алгоритмы не работают с данными?!).
А оформлять результаты этого осмысления нужно сразу в удобной для усвоения людьми форме: делать современный курс по практикам системной инженерии. Той, которая с использованием AI-алгоритмов -- таким же повсеместным, как использование "просто компьютера" (PLM, CAD, digital twin и т.д.) в предыдущем варианте системной инженерии. Какое там будет buzzword для такой инженерии? Поиск-ориентированная/search-based? AI-aided? AI-assisted? Не знаю, но оно точно появится.
Я бы это замечание отнёс и к интеллектуальной деятельности всего человечества, делаемой в соответствии с "квазиэволюционностью", open-endedness: https://ailev.livejournal.com/1463013.html. Мы занимаемся изучением/исследованием/выучиванием окружающего мира, наука=learning. А в инженерии мы ищем/search решения. Я ещё в 2014 писал "поиск-ориентированная системная инженерия и другая пост-моделеориентированная жизнь", https://ailev.livejournal.com/1122876.html, и там "5. Компьютерный поиск (порождение, вывод, вычисление) требований, архитектуры, тестов -- это и есть следующее поколение системной инженерии, непосредственно следующее за переходом к моделеориентированности. Для этого нужно искусственное инженерное воображение (экономная генерация всё более и более подходящих вариантов инженерных решений) и искусственный инженерный вкус (умение оценить эти варианты)".
И это означает по факту, что по мере ухода науки в компьютеры она будет обзываться learning (в пределе -- self-supervised learning, https://github.com/jason718/awesome-self-supervised-learning). А по мере ухода инженерии в компьютеры она будет поиском решений -- search. И прежде всего архитектурным поиском, architectural search (поиском самого важного -- настолько важного, что при нахождении другого решения придётся перенаходить все остальные решения). И это будет поиск не только нейроархитектур, но и архитектур общего вида (пример поиска архитектуры тела робота я давал уже в первом абзаце https://ailev.livejournal.com/1469543.html). Все работы по алгоритмике обучения (deep learning в том числе) и алгоритмике поиска (архитектурного поиска, но в том числе и различные generative подходы, типа GAN) -- это работы по алгоритмике науки и инженерии.
Если делать сегодня курс системной инженерии, то опираться нужно именно на эти рассуждения и делать курс совместимым с именно этой методологией разработки, этой терминологией, которая берётся из AI-intensive systems. Авиастроение девяностых или даже автостроение нулевых (software-intensive systems, cyber-physics systems) уже не подходят. А вот то, что происходит сейчас с беспилотниками и роботами -- вот это самое оно. Это сегодняшний фронтир (и даже немного дальше, чем фронтир), завтрашний мейнстрим. Нужно осмыслять происходящее сейчас с data engineering, data science (это по факту одно с software engineering, computer science, недаром Хинтон, Бенжио и ЛеКун получили тьюринговую премию пару недель назад, их ACM, Association for computing machinery, признала за своих -- https://awards.acm.org/about/2018-turing. Алгоритмы глубокого обучения, алгоритмы AI, просто алгоритмы эти работают с данными -- но какие алгоритмы не работают с данными?!).
А оформлять результаты этого осмысления нужно сразу в удобной для усвоения людьми форме: делать современный курс по практикам системной инженерии. Той, которая с использованием AI-алгоритмов -- таким же повсеместным, как использование "просто компьютера" (PLM, CAD, digital twin и т.д.) в предыдущем варианте системной инженерии. Какое там будет buzzword для такой инженерии? Поиск-ориентированная/search-based? AI-aided? AI-assisted? Не знаю, но оно точно появится.