Украина -- родина deep learning, и прочие радости современных технологий
В замечательное время мы живём: нейронные сетки прогрессируют с жуткой скоростью. Вот только пара интересных новостей:
1. Всё аппаратно разогналось во много раз, и продолжает разгоняться. За три года практически все нейронные сетки перешли на GPU, (http://blogs.nvidia.com/blog/2014/09/18/gpus-imagenet-deep-learning/). Это важно, ибо помогает обходить фундаментальную проблему (хотя и методом "грубой вычислительной силы") -- пункт 4 в http://people.idsia.ch/~juergen/fundamentaldeeplearningproblem.html. Про neuromorphic computing (иногда называют neuromorphic engineering) я вообще молчу, "нейрожелезо" разрабатывается практически всеми крупными производителями чипов.
2. Появляются новые классы глубоких архитектур, которым подвластны новые классы задач. Только-только появился подводящий черту исторический обзорчик по нейронным сеткам (http://people.idsia.ch/~juergen/deep-learning-overview.html, первую глубокую нейронную сетку по этой версии задумал в 1965 и восьмиуровневую научил в 1971 А.Г.Ивахненко в Киеве, в институте Глушкова, его работы легко гуглятся), как придумали нейронную машину Тьюринга, которая учится много быстрее "обычных" нейронных сеток -- http://www.i-programmer.info/news/105-artificial-intelligence/7923-neural-turing-machines-learn-their-algorithms.html. Конечно, это просто ещё одна хитрая архитектура нейронных сеток, это явно не повторение традиционной машины Тьюринга. В любом случае, эта архитектура впечатляет: например, её смогли научить выполнять сортировку (училась-то она сама, и научилась даже не пузырьку: The researchers hoped that the NTM would invent a binary heap sort, but in fact it seemed to have invented a hash table. The vectors were stored in memory locations controlled by the priority and then read out in priority order to give a sorted list).
Вообще, там потихоньку зажигают. Те же самые люди, которые учат нейронные сетки и выигрывают на конкурсах распознавания всего на свете на сверхчеловеческом уровне, кроме того создают теории интересности (http://people.idsia.ch/~juergen/interest.html -- ах, какие там заголовки статей! Maximizing Fun By Creating Data With Easily Reducible Subjective Complexity. Artificial Curiosity on a Katana Robot Arm. A Measure of Interestingness Based on Fixed Compressors.). И креативности: http://people.idsia.ch/~juergen/creativity.html (Driven by Compression Progress: A Simple Principle Explains Essential Aspects of Subjective Beauty, Novelty, Surprise, Interestingness, Attention, Curiosity, Creativity, Art, Science, Music, Jokes).
John Sowa на днях написал очень интересно про пути развития AI: http://ontolog.cim3.net/forum/ontology-summit/2014-11/msg00030.html и http://ontolog.cim3.net/forum/ontology-summit/2014-11/msg00037.html. Он написал коротенькую статью Why Has Artificial Intelligence Failed? And How Can it Succeed? -- http://cys.cic.ipn.mx/ojs/index.php/CyS/article/download/2042/1908. Я вот тут писал всё время про "гибридные вычисления" (статистика+логика), но после чтения этих материалов думаю, что это гигантское упрощение: как будто речь идёт о каком-то "универсальном гибридном алгоритме", а не о букете статистических и куче логических солверов и оптимизаторов, парсеров и ассоциативных памятей плюс огромном числе их смешанных вариантов, все из которых работают в режиме coopetition (сотрудничают-конкурируют).
Придумал короткую инженерную байку, связывающая понятия эмерджентности системы и копредел из теории категорий: "Perfection is achieved not when there is nothing more to add, but rather when there is nothing more to take away." - Antoine de Saint-Exupéry, Airman's Odyssey. Это я продолжаю думать про математику системного подхода -- http://ailev.livejournal.com/1147915.html (копредел с эмерджентностью там объяснялись через пример часов в доме). В математике этой я сам, пожалуй, не разберусь уже никогда -- но хороших людей почему бы ей не заинтересовать?
Опубликован мой комментарий по поводу рынка M2M (machine to machine): туда бы нужно реформу свободного радиоспектра, и всё наладится -- http://rusbase.vc/school/m2m/. IoT в условиях свободного спектра -- это был бы совсем другой IoT, нежели нынешний.
Про экономику SpaceX: http://www.nasa.gov/pdf/586023main_8-3-11_NAFCOM.pdf. И про тамошнюю инженерию (там в конце в комментах): http://filin.livejournal.com/1650257.html
1. Всё аппаратно разогналось во много раз, и продолжает разгоняться. За три года практически все нейронные сетки перешли на GPU, (http://blogs.nvidia.com/blog/2014/09/18/gpus-imagenet-deep-learning/). Это важно, ибо помогает обходить фундаментальную проблему (хотя и методом "грубой вычислительной силы") -- пункт 4 в http://people.idsia.ch/~juergen/fundamentaldeeplearningproblem.html. Про neuromorphic computing (иногда называют neuromorphic engineering) я вообще молчу, "нейрожелезо" разрабатывается практически всеми крупными производителями чипов.
2. Появляются новые классы глубоких архитектур, которым подвластны новые классы задач. Только-только появился подводящий черту исторический обзорчик по нейронным сеткам (http://people.idsia.ch/~juergen/deep-learning-overview.html, первую глубокую нейронную сетку по этой версии задумал в 1965 и восьмиуровневую научил в 1971 А.Г.Ивахненко в Киеве, в институте Глушкова, его работы легко гуглятся), как придумали нейронную машину Тьюринга, которая учится много быстрее "обычных" нейронных сеток -- http://www.i-programmer.info/news/105-artificial-intelligence/7923-neural-turing-machines-learn-their-algorithms.html. Конечно, это просто ещё одна хитрая архитектура нейронных сеток, это явно не повторение традиционной машины Тьюринга. В любом случае, эта архитектура впечатляет: например, её смогли научить выполнять сортировку (училась-то она сама, и научилась даже не пузырьку: The researchers hoped that the NTM would invent a binary heap sort, but in fact it seemed to have invented a hash table. The vectors were stored in memory locations controlled by the priority and then read out in priority order to give a sorted list).
Вообще, там потихоньку зажигают. Те же самые люди, которые учат нейронные сетки и выигрывают на конкурсах распознавания всего на свете на сверхчеловеческом уровне, кроме того создают теории интересности (http://people.idsia.ch/~juergen/interest.html -- ах, какие там заголовки статей! Maximizing Fun By Creating Data With Easily Reducible Subjective Complexity. Artificial Curiosity on a Katana Robot Arm. A Measure of Interestingness Based on Fixed Compressors.). И креативности: http://people.idsia.ch/~juergen/creativity.html (Driven by Compression Progress: A Simple Principle Explains Essential Aspects of Subjective Beauty, Novelty, Surprise, Interestingness, Attention, Curiosity, Creativity, Art, Science, Music, Jokes).
John Sowa на днях написал очень интересно про пути развития AI: http://ontolog.cim3.net/forum/ontology-summit/2014-11/msg00030.html и http://ontolog.cim3.net/forum/ontology-summit/2014-11/msg00037.html. Он написал коротенькую статью Why Has Artificial Intelligence Failed? And How Can it Succeed? -- http://cys.cic.ipn.mx/ojs/index.php/CyS/article/download/2042/1908. Я вот тут писал всё время про "гибридные вычисления" (статистика+логика), но после чтения этих материалов думаю, что это гигантское упрощение: как будто речь идёт о каком-то "универсальном гибридном алгоритме", а не о букете статистических и куче логических солверов и оптимизаторов, парсеров и ассоциативных памятей плюс огромном числе их смешанных вариантов, все из которых работают в режиме coopetition (сотрудничают-конкурируют).
Придумал короткую инженерную байку, связывающая понятия эмерджентности системы и копредел из теории категорий: "Perfection is achieved not when there is nothing more to add, but rather when there is nothing more to take away." - Antoine de Saint-Exupéry, Airman's Odyssey. Это я продолжаю думать про математику системного подхода -- http://ailev.livejournal.com/1147915.html (копредел с эмерджентностью там объяснялись через пример часов в доме). В математике этой я сам, пожалуй, не разберусь уже никогда -- но хороших людей почему бы ей не заинтересовать?
Опубликован мой комментарий по поводу рынка M2M (machine to machine): туда бы нужно реформу свободного радиоспектра, и всё наладится -- http://rusbase.vc/school/m2m/. IoT в условиях свободного спектра -- это был бы совсем другой IoT, нежели нынешний.
Про экономику SpaceX: http://www.nasa.gov/pdf/586023main_8-3-11_NAFCOM.pdf. И про тамошнюю инженерию (там в конце в комментах): http://filin.livejournal.com/1650257.html