Нейронные сети в отечественной науке
В процессе прохождения онлайн-курса по нейронным сетям посмотрел немного по сторонам и был немало удивлен, что в отечественной науке были и есть даже целые две научные школы (московская и красноярская) с сильными результатами, полученными примерно одновременно с американцами, но имеющими более твердый теоретический фундамент. Когда я интересовался этой темой в конце 90х, мне казалось, что вся наука "там".
В первую очередь тут стоит отметить Александра Ивановича Галушкина, в своей монографии 1974г "Синтез многослойных систем распознавания образов" подытоживший результаты исследований в 60х годах и в том числе обосновавший метод обратного распространения ошибки ("backpropagation" в иностранной литературе) для обучения нейронных сетей. Английская википедия об этом почему-то не знает, упоминая только диссертацию Пола Вербоса того же года. Впрочем, приоритет тут не сильно важен, это я так, на полях. Куда интереснее, на мой взгляд, что подход советской и наследовавшей ей российской школы был более системным. Например, нейронные сети определяются следующим образом: "Нейронные сети - частный вид объекта управления в адаптивной системе с аналитическими методами настройки коэффициентов (адаптации)". Акцент на задачах управления сильно отличается от более современных определений. Отсюда вытекают и другие частные вопросы:
- Какая наиболее эффективная с точки зрения ресурсов функция активации
- Как функции оценки ошибки влияют на скорость сходимости
- Как оценить не только сходимость, но и точность на данной итерации обучения (то есть при ограниченном наборе примеров для обучения оценить точность и надежность для произвольного входа).
и др.
Эти вопросы жизненно важны для задач управления, но не столь существенны для распознавания изображений, речи или предсказательных систем -- типичных примеров применения нейронных сетей сегодня.
Галушкин, к сожалению, в прошлом году умер, до последних дней продолжая заниматься исследованиями в области нейроматематики, публикуя работы и преподавая на Физтехе и в ВШЭ. Он и его группа занимался и сетями с памятью, и сетями переменной топологии -- в общем, на переднем крае. Предисловие к его последней крупной книге "Нейронные сети: основы теории" написал патриарх Лотфи Заде. Хорошее представление о текущем состоянии и перспективах дает статья-доклад 2014г ""О методах настройки многослойных нейронных сетей""
Красноярская научная школа сейчас представлена группой А.Н. Горбаня и Е.М.Миркеса, которые в числе прочего предложили проект стандарта для нейросетевых систем. Причем красноярская школа в большей степени отталкивается от задач динамики химических и биологических систем, для решения которых они и используют аппарат нейронных сетей.
В первую очередь тут стоит отметить Александра Ивановича Галушкина, в своей монографии 1974г "Синтез многослойных систем распознавания образов" подытоживший результаты исследований в 60х годах и в том числе обосновавший метод обратного распространения ошибки ("backpropagation" в иностранной литературе) для обучения нейронных сетей. Английская википедия об этом почему-то не знает, упоминая только диссертацию Пола Вербоса того же года. Впрочем, приоритет тут не сильно важен, это я так, на полях. Куда интереснее, на мой взгляд, что подход советской и наследовавшей ей российской школы был более системным. Например, нейронные сети определяются следующим образом: "Нейронные сети - частный вид объекта управления в адаптивной системе с аналитическими методами настройки коэффициентов (адаптации)". Акцент на задачах управления сильно отличается от более современных определений. Отсюда вытекают и другие частные вопросы:
- Какая наиболее эффективная с точки зрения ресурсов функция активации
- Как функции оценки ошибки влияют на скорость сходимости
- Как оценить не только сходимость, но и точность на данной итерации обучения (то есть при ограниченном наборе примеров для обучения оценить точность и надежность для произвольного входа).
и др.
Эти вопросы жизненно важны для задач управления, но не столь существенны для распознавания изображений, речи или предсказательных систем -- типичных примеров применения нейронных сетей сегодня.
Галушкин, к сожалению, в прошлом году умер, до последних дней продолжая заниматься исследованиями в области нейроматематики, публикуя работы и преподавая на Физтехе и в ВШЭ. Он и его группа занимался и сетями с памятью, и сетями переменной топологии -- в общем, на переднем крае. Предисловие к его последней крупной книге "Нейронные сети: основы теории" написал патриарх Лотфи Заде. Хорошее представление о текущем состоянии и перспективах дает статья-доклад 2014г ""О методах настройки многослойных нейронных сетей""
Красноярская научная школа сейчас представлена группой А.Н. Горбаня и Е.М.Миркеса, которые в числе прочего предложили проект стандарта для нейросетевых систем. Причем красноярская школа в большей степени отталкивается от задач динамики химических и биологических систем, для решения которых они и используют аппарат нейронных сетей.