Машинное обучение и трудные вопросы к инженерии и науке
Развлекушка прошлой недели: нейронная сетка слушала сутки классическую музыку (все стили чохом, прослушивание шло в "облаке", на что ушло аж $5) и затем сочинила свою. Вот, удивитесь: http://www.hexahedria.com/2015/08/03/composing-music-with-recurrent-neural-networks/ -- и учтите, что несколько недель назад автор этой работы только "читал" про нейронные сети, это его первый эксперимент.
Как всегда в случае прорывных технологий, вся эта предметная область машинного обучения быстро катится в самые разные применения, попутно взрывая заматеревшие и забронзовевшие предметные области -- достаётся и инженерии, и науке, и даже философской логике с науковедением.
В Facebook AI Research попала целая плеяда исследователей, амбиции которых выходят глубоко за рамки "построить ещё одну интересную архитектурку нейронной сети". Так, Владимир Наумович Вапник (который больше известен как один из создателей метода опорных векторов/support vector machines) с осени 2014 тоже работает в Facebook, вместе с LeCunn.
В интервью "Learning Has Just Started" -- http://www.learningtheory.org/learning-has-just-started-an-interview-with-prof-vladimir-vapnik/ он задаётся как раз этими вопросами: что там происходит с наукой и инженерией, и как мы должны поменять философию, чтобы примирить разные способы освоения мира, разные виды рассуждений, разные виды вывода/вычислений (inference).
Из этих вопросов в том числе следуют и попытки изменить само обучение. Так, Вапник предложил Intelligent learning (https://video.ias.edu/csdm/2015/0330-VladimirVapnik). В таком "умном обучении" учитель тоже проявляет интеллект -- если управлять процессом научения, то можно научить ученика за в разы и разы меньшее число примеров, чем при тупом научении на примерах: "For example, when you have a technical description x of the object and have some impression x* about this object you have two forms of description: a formal description and a holistic description or Gestalt description. Using both descriptions during training can help to find a better decision function. This technique remains master-class learning, like musicians training in master classes. The teacher does not show exactly how to play. He talks to students and gives some images transmitting some hidden information - and this helps".
Презентация Léon Bottou (тоже Facebook AI Research) "Two high stakes challenges in machine learning" -- http://icml.cc/2015/invited/LeonBottouICML2015.pdf (на конференции ICML 6-11 июля 2015, http://icml.cc/2015/?page_id=93) тоже про про научность и инженерность машинного обучения, она вспоминает трудные вопросы, которые задавали специалистам по нейронным сетям все эти годы "зимы искусственного интеллекта" -- ибо успехи успехами, а отвечать на эти вопросы всё одно надо!
Léon Bottou поднимает очень трудный вопрос про инженерию нейронных сеток: ибо в классический инженерный процесс нейронные сетки вписываются очень плохо. Я про это немного писал в конце июля http://ailev.livejournal.com/1205999.html, но тогда я ещё не видел слайдов Bottou. Я бы с частью слайдов там поспорил (ну, или там опечатки, типа как путаются у него дисциплины computer science и software engineering), но основные тезисы довольно близки к тому, что я писал. Собственно, тезиса у Bottou два:
-- машинное обучение это не классическое программирование, и не очень понятно, как его с классическими программами стыковать
-- "научная" парадигма с "экспериментом" ("научили -- испытали") достигла своего предела, и нужно что-то менять.
Крайне интересная презентация, очень рекомендую помедитировать над ней, затем вернуться и ещё помедитировать. Вопросы не в бровь, а под глаз: прежде всего про ужасную модульность (и даже антимодульность!) обучаемых систем -- со всеми вытекающими недостатками для использования в инженерных проектах.
Bernhard Schölkopf работает с различением статистического и причинного (causal) подходов к машинному обучению -- https://royalsociety.org/events/2014/11/milner-lecture/ (вторая половина лекции именно про это). Различение бьёт ровно в ту же точку: философско-логические (статистические, причинные) основания логического (статистического, причинного) вывода/inference.
Кстати, все они по сути из одной команды, регулярно работали вместе. Вапник и Schölkopf регулярно на конференциях вместе оказываются (вот, например -- http://www.clrc.rhul.ac.uk/slds2015/).
Школа анализа данных Яндекса делает восхитительную конференцию по машинному обучению (5-8 октабря 2015 в Берлине: https://yandexdataschool.com/conference/). Там основная идея -- попробовать как-то объединить все эти самые разные идеи о том, как совместить текущие успехи в deep learning и вот эти наработки, лежащие чуть в стороне от традиционного обсуждения свёрточных и рекуррентных нейронных сетей. Ибо в этих разработках по факту нет "нейронов", которые появляются уже на реализационном уровне -- обсуждение же новых идей идёт на более высоком уровне абстракции, и реализационные аспекты в переходе к глубоким архитектурам нужно обсуждать дополнительно. Вот этот противоречивый сэндвич "более прикладного" и одновременно "более абстрактного" взгляда на проблемы deep learning и является изюминкой конференции -- хотя по мне тут нужна упорная не разовая работа по синтезу всех этих частных прорывов в отдельных узких областях машинного обучения, одной конференции тут не хватит. Хотя кто его знает, какие прорывы принесут беседы в тамошних кулуарах!
При этом помним, что тот же Alan Kay довольно убедительно показывает, что и в области традиционной computer science революция отнюдь ещё не началась -- http://ailev.livejournal.com/469995.html. Так что сейчас начнётся (собственно, уже идёт -- хотя и не массовым потоком) интенсивное скрещивание обучающегося ужа с формально-логическим ежом в рамках одного компьютера, трудно вообразить, что там может начать получаться.
Это и я говорил, называя такой вывод/вычисления гибридным (вот, например, "плюрализм в информатике", 2012 -- http://ailev.livejournal.com/1008684.html и там ссылки даже на более старые упоминания. Или пункт 5 в размышлениях о BigData в 2014 -- http://ailev.livejournal.com/1137728.html). Собственно, когда я про representation learning первый раз развёрнуто написал в 2012 я тоже ровно про это говорил http://ailev.livejournal.com/1045081.html -- "Я ведь сторонник гибридной модели, в которой одновременно используется много разных представлений объекта и много разных обработок для этих представлений. Я продолжаю утверждать, что в мозгу есть (а в компьютере это будет повторено так или иначе) два разных когнитивных механизма: статистический (контент-анализ, ассоциации и аналогии, обучение представлениям, марковские цепи и т.д.) и формально-логический (с HOL). Оба важны". И в трендах 2015 года я soft computing поставил трендом номер 2, подчёркивая его неразрывную связь с инженерией (http://ailev.livejournal.com/1155745.html).
Сравните с тем же у Вапника, хотя и совсем другими словами из http://www.learningtheory.org/learning-has-just-started-an-interview-with-prof-vladimir-vapnik/: "In 1980’s, I understood the relation of the pattern recognition problem to problems of classical philosophy of science. In 1990’s, developing SVM I was happy to introduce a theoretical line in creating algorithms instead of heuristics. Now I see in this problem a central point for changing a general paradigm that has existed for many hundreds of years which separates inductive (or scientific) inference developed for dealing with a simple world from direct (non-inductive or non-scientific) inference which is a tool for dealing with a complex world".
Как всегда в случае прорывных технологий, вся эта предметная область машинного обучения быстро катится в самые разные применения, попутно взрывая заматеревшие и забронзовевшие предметные области -- достаётся и инженерии, и науке, и даже философской логике с науковедением.
В Facebook AI Research попала целая плеяда исследователей, амбиции которых выходят глубоко за рамки "построить ещё одну интересную архитектурку нейронной сети". Так, Владимир Наумович Вапник (который больше известен как один из создателей метода опорных векторов/support vector machines) с осени 2014 тоже работает в Facebook, вместе с LeCunn.
В интервью "Learning Has Just Started" -- http://www.learningtheory.org/learning-has-just-started-an-interview-with-prof-vladimir-vapnik/ он задаётся как раз этими вопросами: что там происходит с наукой и инженерией, и как мы должны поменять философию, чтобы примирить разные способы освоения мира, разные виды рассуждений, разные виды вывода/вычислений (inference).
Из этих вопросов в том числе следуют и попытки изменить само обучение. Так, Вапник предложил Intelligent learning (https://video.ias.edu/csdm/2015/0330-VladimirVapnik). В таком "умном обучении" учитель тоже проявляет интеллект -- если управлять процессом научения, то можно научить ученика за в разы и разы меньшее число примеров, чем при тупом научении на примерах: "For example, when you have a technical description x of the object and have some impression x* about this object you have two forms of description: a formal description and a holistic description or Gestalt description. Using both descriptions during training can help to find a better decision function. This technique remains master-class learning, like musicians training in master classes. The teacher does not show exactly how to play. He talks to students and gives some images transmitting some hidden information - and this helps".
Презентация Léon Bottou (тоже Facebook AI Research) "Two high stakes challenges in machine learning" -- http://icml.cc/2015/invited/LeonBottouICML2015.pdf (на конференции ICML 6-11 июля 2015, http://icml.cc/2015/?page_id=93) тоже про про научность и инженерность машинного обучения, она вспоминает трудные вопросы, которые задавали специалистам по нейронным сетям все эти годы "зимы искусственного интеллекта" -- ибо успехи успехами, а отвечать на эти вопросы всё одно надо!
Léon Bottou поднимает очень трудный вопрос про инженерию нейронных сеток: ибо в классический инженерный процесс нейронные сетки вписываются очень плохо. Я про это немного писал в конце июля http://ailev.livejournal.com/1205999.html, но тогда я ещё не видел слайдов Bottou. Я бы с частью слайдов там поспорил (ну, или там опечатки, типа как путаются у него дисциплины computer science и software engineering), но основные тезисы довольно близки к тому, что я писал. Собственно, тезиса у Bottou два:
-- машинное обучение это не классическое программирование, и не очень понятно, как его с классическими программами стыковать
-- "научная" парадигма с "экспериментом" ("научили -- испытали") достигла своего предела, и нужно что-то менять.
Крайне интересная презентация, очень рекомендую помедитировать над ней, затем вернуться и ещё помедитировать. Вопросы не в бровь, а под глаз: прежде всего про ужасную модульность (и даже антимодульность!) обучаемых систем -- со всеми вытекающими недостатками для использования в инженерных проектах.
Bernhard Schölkopf работает с различением статистического и причинного (causal) подходов к машинному обучению -- https://royalsociety.org/events/2014/11/milner-lecture/ (вторая половина лекции именно про это). Различение бьёт ровно в ту же точку: философско-логические (статистические, причинные) основания логического (статистического, причинного) вывода/inference.
Кстати, все они по сути из одной команды, регулярно работали вместе. Вапник и Schölkopf регулярно на конференциях вместе оказываются (вот, например -- http://www.clrc.rhul.ac.uk/slds2015/).
Школа анализа данных Яндекса делает восхитительную конференцию по машинному обучению (5-8 октабря 2015 в Берлине: https://yandexdataschool.com/conference/). Там основная идея -- попробовать как-то объединить все эти самые разные идеи о том, как совместить текущие успехи в deep learning и вот эти наработки, лежащие чуть в стороне от традиционного обсуждения свёрточных и рекуррентных нейронных сетей. Ибо в этих разработках по факту нет "нейронов", которые появляются уже на реализационном уровне -- обсуждение же новых идей идёт на более высоком уровне абстракции, и реализационные аспекты в переходе к глубоким архитектурам нужно обсуждать дополнительно. Вот этот противоречивый сэндвич "более прикладного" и одновременно "более абстрактного" взгляда на проблемы deep learning и является изюминкой конференции -- хотя по мне тут нужна упорная не разовая работа по синтезу всех этих частных прорывов в отдельных узких областях машинного обучения, одной конференции тут не хватит. Хотя кто его знает, какие прорывы принесут беседы в тамошних кулуарах!
При этом помним, что тот же Alan Kay довольно убедительно показывает, что и в области традиционной computer science революция отнюдь ещё не началась -- http://ailev.livejournal.com/469995.html. Так что сейчас начнётся (собственно, уже идёт -- хотя и не массовым потоком) интенсивное скрещивание обучающегося ужа с формально-логическим ежом в рамках одного компьютера, трудно вообразить, что там может начать получаться.
Это и я говорил, называя такой вывод/вычисления гибридным (вот, например, "плюрализм в информатике", 2012 -- http://ailev.livejournal.com/1008684.html и там ссылки даже на более старые упоминания. Или пункт 5 в размышлениях о BigData в 2014 -- http://ailev.livejournal.com/1137728.html). Собственно, когда я про representation learning первый раз развёрнуто написал в 2012 я тоже ровно про это говорил http://ailev.livejournal.com/1045081.html -- "Я ведь сторонник гибридной модели, в которой одновременно используется много разных представлений объекта и много разных обработок для этих представлений. Я продолжаю утверждать, что в мозгу есть (а в компьютере это будет повторено так или иначе) два разных когнитивных механизма: статистический (контент-анализ, ассоциации и аналогии, обучение представлениям, марковские цепи и т.д.) и формально-логический (с HOL). Оба важны". И в трендах 2015 года я soft computing поставил трендом номер 2, подчёркивая его неразрывную связь с инженерией (http://ailev.livejournal.com/1155745.html).
Сравните с тем же у Вапника, хотя и совсем другими словами из http://www.learningtheory.org/learning-has-just-started-an-interview-with-prof-vladimir-vapnik/: "In 1980’s, I understood the relation of the pattern recognition problem to problems of classical philosophy of science. In 1990’s, developing SVM I was happy to introduce a theoretical line in creating algorithms instead of heuristics. Now I see in this problem a central point for changing a general paradigm that has existed for many hundreds of years which separates inductive (or scientific) inference developed for dealing with a simple world from direct (non-inductive or non-scientific) inference which is a tool for dealing with a complex world".