Парадигмальный вентилятор уже работает
Как раз для гиковской пятницы вечера: свежий наброс на парадигмальный вентилятор: текст Neural Networks, Types, and Functional Programming, https://colah.github.io/posts/2015-09-NN-Types-FP/ (ага, deep learning это второе пришествие функционального программиования, только оно само об этом не знает ещё). Representations correspond to types. Дьявол, да! Типы это про онтологию, онтология из именованной становится набором параметров, вместо имён адреса, на передний план выходит эпистемология -- как их получают, а не каковы сами эти типы (я об этом говорил в пункте 2 http://ailev.livejournal.com/1213434.html). Осталось только понять про "распределённые типы" (недаром из школ по deep learning первым же пунктом выносят the need for distributed representations. "During his first talk, Yoshua Bengio said “This is my most important slide”" -- http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summer-school/).
В Reddit обсуждают этот наброс тут: https://www.reddit.com/r/haskell/comments/3jiqcf/haskells_map_fold_zip_and_their_deepneuralnetwork/
Там же в Reddit поминают, что в Rosetta Stone (http://math.ucr.edu/home/baez/rosetta.pdf) теоркатегорщики генерализуют "program : type" and "proposition : type" to "physical process : physical system", "morphism : object", and "cobordism : manifold".
Сам Colah физической парадигмы не предусматривает, а зря (я писал о ней в "физика процессов эволюции и deep learning", http://ailev.livejournal.com/1197148.html).
Если сюда добавить семинар "Когнитивные вычисления: интеграция нейронного и символического подходов" в декабре 2015 (http://www.neural-symbolic.org/CoCo2015/), то мировую вакханалию можно считать успешно стартованной. Про то, что reasoning теперь не только логический, но и нейро, семинар рядом. И вообще, названия тамошних "семинаров рядом" (их тьма) вдохновляют -- https://nips.cc/Conferences/2015/Schedule?type=Workshop. Как всегда, это только сегодня все спохватились, а семинары по нейро-символической интеграции для знающих людей идут с 2005 года (http://www.neural-symbolic.org/).
Парадигмы уже успешно ломаются. Так, в лингвистике с "молекул-слов" быстро-быстро акцент переходит на "атомы-буквы", и кто тут не сориентировался, тот проиграл. То в одной ситуации, то в другой это даёт улучшение качества, например, в ситуациях с переводом редких слов, http://arxiv.org/abs/1508.07909.
Ещё мне нравится, что начали появляться работы типа "обучение на лету на вечной обучающейся машине" (http://arxiv.org/abs/1509.00913), где можно не только познакомиться с идеями Perpetual Learning Machine (работа на тему памяти в глубоком обучении, с архитектурой отличной от LSTM, предложенной ещё в 1997 году), но и прочесть acknowledgement, где написано: "автор делал эту работу по выходным и был поддержан женой и детьми". Жена и дети -- лучший "институт развития" для науки. Мимо всех форсайтов.
При этом обзоры типа AI и the Future of Business пытаются что-то в этой ломке основ спрогнозировать -- http://www.zdnet.com/topic/ai-and-the-future-of-business/ (спецвыпуск с кучей отдельных обзоров. Традиционно от "прогноз: в 2016 году больше $2млрд. продаж будут осуществлены исключительно мобильными цифровыми помощниками", т.е. Siri, Cortana и подобными, до "34% боятся искусственного интеллекта" потому как Skynet и потеря рабочих мест). Это скука, это будни цивилизации. Вот очередное переобустройство всего корпуса человеческого знания -- вот это редкий праздник. Даже онтология из путеводной звезды и "нашего всего" отодвигается в сторону восходящей звездой вечно бывшей в загоне гносеологии-эпистемологии (http://ailev.livejournal.com/1211950.html про learning to learn и пункт 2 в http://ailev.livejournal.com/1213434.html про смену типа вопрошания к миру -- "обучение" и "коммуникация" становится ведущей парадигмой, сменяя метафизическую парадигму "открытия истинной онтологии").
Говорят, парадигмы вымирают только вместе с их носителями. Не знаю, не знаю, времена ведь меняются. Большой Парадигмальный Вентилятор включился, и грядёт массовая продувка (а для особо упорных -- промывка) мозгов.
Вы ещё не опоздали сделать свой наброс на этот вентилятор. Поучаствуйте в празднике, не стойте в сторонке. Входной барьер низок, институт жены и детей вас поддержит. Приятных выходных!
В Reddit обсуждают этот наброс тут: https://www.reddit.com/r/haskell/comments/3jiqcf/haskells_map_fold_zip_and_their_deepneuralnetwork/
Там же в Reddit поминают, что в Rosetta Stone (http://math.ucr.edu/home/baez/rosetta.pdf) теоркатегорщики генерализуют "program : type" and "proposition : type" to "physical process : physical system", "morphism : object", and "cobordism : manifold".
Сам Colah физической парадигмы не предусматривает, а зря (я писал о ней в "физика процессов эволюции и deep learning", http://ailev.livejournal.com/1197148.html).
Если сюда добавить семинар "Когнитивные вычисления: интеграция нейронного и символического подходов" в декабре 2015 (http://www.neural-symbolic.org/CoCo2015/), то мировую вакханалию можно считать успешно стартованной. Про то, что reasoning теперь не только логический, но и нейро, семинар рядом. И вообще, названия тамошних "семинаров рядом" (их тьма) вдохновляют -- https://nips.cc/Conferences/2015/Schedule?type=Workshop. Как всегда, это только сегодня все спохватились, а семинары по нейро-символической интеграции для знающих людей идут с 2005 года (http://www.neural-symbolic.org/).
Парадигмы уже успешно ломаются. Так, в лингвистике с "молекул-слов" быстро-быстро акцент переходит на "атомы-буквы", и кто тут не сориентировался, тот проиграл. То в одной ситуации, то в другой это даёт улучшение качества, например, в ситуациях с переводом редких слов, http://arxiv.org/abs/1508.07909.
Ещё мне нравится, что начали появляться работы типа "обучение на лету на вечной обучающейся машине" (http://arxiv.org/abs/1509.00913), где можно не только познакомиться с идеями Perpetual Learning Machine (работа на тему памяти в глубоком обучении, с архитектурой отличной от LSTM, предложенной ещё в 1997 году), но и прочесть acknowledgement, где написано: "автор делал эту работу по выходным и был поддержан женой и детьми". Жена и дети -- лучший "институт развития" для науки. Мимо всех форсайтов.
При этом обзоры типа AI и the Future of Business пытаются что-то в этой ломке основ спрогнозировать -- http://www.zdnet.com/topic/ai-and-the-future-of-business/ (спецвыпуск с кучей отдельных обзоров. Традиционно от "прогноз: в 2016 году больше $2млрд. продаж будут осуществлены исключительно мобильными цифровыми помощниками", т.е. Siri, Cortana и подобными, до "34% боятся искусственного интеллекта" потому как Skynet и потеря рабочих мест). Это скука, это будни цивилизации. Вот очередное переобустройство всего корпуса человеческого знания -- вот это редкий праздник. Даже онтология из путеводной звезды и "нашего всего" отодвигается в сторону восходящей звездой вечно бывшей в загоне гносеологии-эпистемологии (http://ailev.livejournal.com/1211950.html про learning to learn и пункт 2 в http://ailev.livejournal.com/1213434.html про смену типа вопрошания к миру -- "обучение" и "коммуникация" становится ведущей парадигмой, сменяя метафизическую парадигму "открытия истинной онтологии").
Говорят, парадигмы вымирают только вместе с их носителями. Не знаю, не знаю, времена ведь меняются. Большой Парадигмальный Вентилятор включился, и грядёт массовая продувка (а для особо упорных -- промывка) мозгов.
Вы ещё не опоздали сделать свой наброс на этот вентилятор. Поучаствуйте в празднике, не стойте в сторонке. Входной барьер низок, институт жены и детей вас поддержит. Приятных выходных!