IJCNN'09 - Обзор работ
Интересных докладов было очень много, часть посвящена довольно техническим вопросам, и едва-ли будет интересной в кратком изложении, а часть имела довольно общий характер. На этих докладах я и остановлюсь более или менее подробно (в хронологическом порядке). Очень и очень обзорно, т.к. написание полноценного анализа заняло бы в лучшем случае несколько недель, а не все из них интересны лично мне. Но могу детализировать и/или прислать статьи.
Neural Synchrony and Selective Attention, Robert Desimone, MIT, USA. Экспериментально показана и теоретически обоснована роль внимания в визуальном восприятии: в той области визуальной коры, на которой в данный момент сосредоточено внимание, отклики нейронов на изменение входных стимулов намного более активны, и имеют существенно большую предсказательность по сравнению с областями, на которых внимание не сосредоточено. Вполне логично, но кроме констатации факта предложена модель, как представлять внимание в форме модификации параметров нейросети.
Integrating Spiking Neural Networks, Nikola Kasabov, AUT, NZ. Внеочередной доклад, замещающий кого-то отсутствующего, поэтому скорее обзорный. Но тем не менее много правильных слов про спайковые нейронные сети и про ошибочность использования частоты спайков в качестве основного характерного параметра (чем страдает ряд работ в этой области). Также предложена концепция квантового представления признаков, когда каждый признак обладает некоторой вероятностью наблюдения: при подаче входного вектора сети, для каждой компоненты при подаче очередного образа берется случайное число, и она либо используется, либо отбрасывается, в зависимости от ее вероятности. Предложен метод вычисления этих вероятностей, и показаны его преимущества при обработке некоторых типов данных большой размерности с явной избыточностью некоторых компонент входов.
Learning Using Hidden Information, Vladimir Vapnik, USA. Крайне интересный новый метод обучения. Суть в следующем: допустим у нас есть множество обучающих векторов с метками классов, к которым их следует отнести (стандартная задача), и некоторая дополнительная информация об этих векторах, данная экспертом. Загвоздка в том, что для реальных задач дополнительная информация будет недоступна - мы не можем посадить эксперта рядом с каждой нашей системой. Вапник предложил метод, который позволяет использовать дополнительную информацию при обучении так, что результирующее решающее правило окажется лучше, чем построенное классическими методами, без этой информации. Общая идея метода состоит в использовании расстояния между обучающими векторами в дополненном пространстве, но деталей я пока не осознал.
Memristor: 38 Years Later, Leon Chua, USA. Мемристоры - элементы, аналогичные R,L,C, как R связывает напряжение и ток, C - напряжение и заряд, L - ток и магнитный поток, так M - мемристор - связывает заряд и магнитный поток. В мае 2008го была наконец придумана полупроводниковая реализация этих девайсов (там своя специфика, его работа основана на химических превращениях, но характеристика как раз нужная получается), и крайне довольный докладчик рассказывал о новом поколении цифровой техники, которая может быть на них построена. Из интересных особенностей - мемристоры могут быть использованы как для запоминания информации, так и для вычислений - таким образом в будущем память и процессор могут оказаться интегрированными в один чип, что для некоторых типов задач решит проблему скорости передачи данных по шине. Также мемристор в некотором смысле очень напоминает ионный канал нейрона, поэтому модель спайкового нейрона на мемристорах выглядит очень просто, и может быть реализована с большой плотностью элементов. Возможно, как раз к тому времени, когда механизмы обучения таких сетей будут доведены до ума.
Large Scale Model of The Human Brain, Eugene Izhikevich, USA. В принципе ничего принципиально нового - просто товарищ взял стандартную модель нейрона, и сделал большую-пребольшую спайковую нейросеть, без обучения, со случайно распределенными связями (характеристики распределения взяты из биологии), и посмотрел как она себя ведет. Но нейронов он взял дофига - для начала, 10 миллиардов, и смоделировал несколько секунд, а потом 10 миллионов, и смоделировал много раз по несколько минут в разных условиях. Картинки впечатляют - видны волны спайковой активности, общая картина очень похожа на то, что меряют биологи в реальном мозгу. Из особо интересного - модель детерминирована, но если для 10м нейронов убрать из активности всего 1 спайк (а в секунду их пробегают десятки миллионов), то уже через 300 миллисекунд активность всей модели будет существенно отличаться от того, что было раньше. К сожалению, они не особо исследовали вопрос, как ведет себя модель при одинаковых воздействиях на разном фоне - ИМХО, это было бы еще интереснее.
How to Deal With Inhomogeneous Outputs and High Dimensionality of Neural Network Emulations of Model Physics in Numerical Climate and Weather Prediction Models, Vladimir Krasnopolsky, USA (постер). Работа в принципе не особо примечательна, кроме одного факта - оказывается, можно весьма и весьма эффективно использовать нейросеть вместо физических расчетов! Правда, это годится только при наличии опорных точек раз в пару часов, на больших временах нейросеть расходится, но с учетом просто несопоставимой вычислительной сложности - очень и очень толковое применение.
Cognitive Memory: Human and Machine, Bernard Widrow, USA. Видроу уже очень стар, говорит пространно и невнятно, поэтому значительную часть я, к сожалению, не понял. Однако демонстрировал работу системы визуального распознавания объектов, которая выглядит впечатляюще. Суть проста до безобразия - объекты, которые нужно распознавать, запоминаются в большом количестве различных поворотов и масштабов, равно как и масса различных вариантов фона. То есть действительно огромное количество - ассоциативные нейронные сети там размерности порядка 100 тысяч и более. И при распознавании там тоже выбираются всевозможные вращения и масштабы всех возможных окон. Однако результат - 100% распознавание, в том числе на задаче "на фотографиях 375 разных людей найти 75 знакомых, в неизвестных ранее ракурсах". Впечатляет.
Две статьи - "A Novel Chaotic Spiking Neuron and its Paralleled Spike Encoding Function", и "Bifurcation Analysis of a Reconfigurable Hybrid Spiking Neuron and its Novel Online Learning Algorithm", докладчик - Hiroyuki Torikai, Japan. Предолжен простой способ кодирования информации в форме спайков нейронов, суть которого состоит в том, что нейрон генерирует спайки случайно, с плотностью, которая соответствует амплитуде входного сигнала. Однако при этом доказан ряд теорем, гарантирующих адекватность такого представления исходному сигналу при достаточном числе нейронов, а также предложена очень простая модель спайкового нейрона на двух счетчиках, которая позволяет с одной стороны легко реализовывать его на простых логических элементах, а с другой - демонстрирует интересную динамику, очень напоминающую динамику реальных нейронов, с куда более сложной моделью.
Efficient Simulation of Large-Scale Spiking Neural Networks Using CUDA Graphics Processor, Jayram Moorkanikara Nageswaran, USA. Ничего принципиально нового с точки зрения моделей, однако рассмотрен и решен ряд практических задач, возникающих при моделировании спайковых сетей на графических ускорителях. Статья интересна опытом реализации, а также результатами моделирования - 100 тысяч нейронов при 10 миллионах связей работают почти в реалтайме (в 1.5 раза медленнее), а в целом на одной доступной на сегодняшний день плате можно смоделировать порядка полумиллиона нейронов и порядка 50 миллионов связей. Кроме всего прочего, доступны исходники этого проекта, что делает его особо ценным с практической точки зрения. Доклад отмечен как лучшая работа конференции.
Из тех докладов, на которых я присутствовал, эти - наиболее запоминающиеся, хотя возможно что-то я и забыл... Могу долго вдаваться в детали по желанию читателей :)
Neural Synchrony and Selective Attention, Robert Desimone, MIT, USA. Экспериментально показана и теоретически обоснована роль внимания в визуальном восприятии: в той области визуальной коры, на которой в данный момент сосредоточено внимание, отклики нейронов на изменение входных стимулов намного более активны, и имеют существенно большую предсказательность по сравнению с областями, на которых внимание не сосредоточено. Вполне логично, но кроме констатации факта предложена модель, как представлять внимание в форме модификации параметров нейросети.
Integrating Spiking Neural Networks, Nikola Kasabov, AUT, NZ. Внеочередной доклад, замещающий кого-то отсутствующего, поэтому скорее обзорный. Но тем не менее много правильных слов про спайковые нейронные сети и про ошибочность использования частоты спайков в качестве основного характерного параметра (чем страдает ряд работ в этой области). Также предложена концепция квантового представления признаков, когда каждый признак обладает некоторой вероятностью наблюдения: при подаче входного вектора сети, для каждой компоненты при подаче очередного образа берется случайное число, и она либо используется, либо отбрасывается, в зависимости от ее вероятности. Предложен метод вычисления этих вероятностей, и показаны его преимущества при обработке некоторых типов данных большой размерности с явной избыточностью некоторых компонент входов.
Learning Using Hidden Information, Vladimir Vapnik, USA. Крайне интересный новый метод обучения. Суть в следующем: допустим у нас есть множество обучающих векторов с метками классов, к которым их следует отнести (стандартная задача), и некоторая дополнительная информация об этих векторах, данная экспертом. Загвоздка в том, что для реальных задач дополнительная информация будет недоступна - мы не можем посадить эксперта рядом с каждой нашей системой. Вапник предложил метод, который позволяет использовать дополнительную информацию при обучении так, что результирующее решающее правило окажется лучше, чем построенное классическими методами, без этой информации. Общая идея метода состоит в использовании расстояния между обучающими векторами в дополненном пространстве, но деталей я пока не осознал.
Memristor: 38 Years Later, Leon Chua, USA. Мемристоры - элементы, аналогичные R,L,C, как R связывает напряжение и ток, C - напряжение и заряд, L - ток и магнитный поток, так M - мемристор - связывает заряд и магнитный поток. В мае 2008го была наконец придумана полупроводниковая реализация этих девайсов (там своя специфика, его работа основана на химических превращениях, но характеристика как раз нужная получается), и крайне довольный докладчик рассказывал о новом поколении цифровой техники, которая может быть на них построена. Из интересных особенностей - мемристоры могут быть использованы как для запоминания информации, так и для вычислений - таким образом в будущем память и процессор могут оказаться интегрированными в один чип, что для некоторых типов задач решит проблему скорости передачи данных по шине. Также мемристор в некотором смысле очень напоминает ионный канал нейрона, поэтому модель спайкового нейрона на мемристорах выглядит очень просто, и может быть реализована с большой плотностью элементов. Возможно, как раз к тому времени, когда механизмы обучения таких сетей будут доведены до ума.
Large Scale Model of The Human Brain, Eugene Izhikevich, USA. В принципе ничего принципиально нового - просто товарищ взял стандартную модель нейрона, и сделал большую-пребольшую спайковую нейросеть, без обучения, со случайно распределенными связями (характеристики распределения взяты из биологии), и посмотрел как она себя ведет. Но нейронов он взял дофига - для начала, 10 миллиардов, и смоделировал несколько секунд, а потом 10 миллионов, и смоделировал много раз по несколько минут в разных условиях. Картинки впечатляют - видны волны спайковой активности, общая картина очень похожа на то, что меряют биологи в реальном мозгу. Из особо интересного - модель детерминирована, но если для 10м нейронов убрать из активности всего 1 спайк (а в секунду их пробегают десятки миллионов), то уже через 300 миллисекунд активность всей модели будет существенно отличаться от того, что было раньше. К сожалению, они не особо исследовали вопрос, как ведет себя модель при одинаковых воздействиях на разном фоне - ИМХО, это было бы еще интереснее.
How to Deal With Inhomogeneous Outputs and High Dimensionality of Neural Network Emulations of Model Physics in Numerical Climate and Weather Prediction Models, Vladimir Krasnopolsky, USA (постер). Работа в принципе не особо примечательна, кроме одного факта - оказывается, можно весьма и весьма эффективно использовать нейросеть вместо физических расчетов! Правда, это годится только при наличии опорных точек раз в пару часов, на больших временах нейросеть расходится, но с учетом просто несопоставимой вычислительной сложности - очень и очень толковое применение.
Cognitive Memory: Human and Machine, Bernard Widrow, USA. Видроу уже очень стар, говорит пространно и невнятно, поэтому значительную часть я, к сожалению, не понял. Однако демонстрировал работу системы визуального распознавания объектов, которая выглядит впечатляюще. Суть проста до безобразия - объекты, которые нужно распознавать, запоминаются в большом количестве различных поворотов и масштабов, равно как и масса различных вариантов фона. То есть действительно огромное количество - ассоциативные нейронные сети там размерности порядка 100 тысяч и более. И при распознавании там тоже выбираются всевозможные вращения и масштабы всех возможных окон. Однако результат - 100% распознавание, в том числе на задаче "на фотографиях 375 разных людей найти 75 знакомых, в неизвестных ранее ракурсах". Впечатляет.
Две статьи - "A Novel Chaotic Spiking Neuron and its Paralleled Spike Encoding Function", и "Bifurcation Analysis of a Reconfigurable Hybrid Spiking Neuron and its Novel Online Learning Algorithm", докладчик - Hiroyuki Torikai, Japan. Предолжен простой способ кодирования информации в форме спайков нейронов, суть которого состоит в том, что нейрон генерирует спайки случайно, с плотностью, которая соответствует амплитуде входного сигнала. Однако при этом доказан ряд теорем, гарантирующих адекватность такого представления исходному сигналу при достаточном числе нейронов, а также предложена очень простая модель спайкового нейрона на двух счетчиках, которая позволяет с одной стороны легко реализовывать его на простых логических элементах, а с другой - демонстрирует интересную динамику, очень напоминающую динамику реальных нейронов, с куда более сложной моделью.
Efficient Simulation of Large-Scale Spiking Neural Networks Using CUDA Graphics Processor, Jayram Moorkanikara Nageswaran, USA. Ничего принципиально нового с точки зрения моделей, однако рассмотрен и решен ряд практических задач, возникающих при моделировании спайковых сетей на графических ускорителях. Статья интересна опытом реализации, а также результатами моделирования - 100 тысяч нейронов при 10 миллионах связей работают почти в реалтайме (в 1.5 раза медленнее), а в целом на одной доступной на сегодняшний день плате можно смоделировать порядка полумиллиона нейронов и порядка 50 миллионов связей. Кроме всего прочего, доступны исходники этого проекта, что делает его особо ценным с практической точки зрения. Доклад отмечен как лучшая работа конференции.
Из тех докладов, на которых я присутствовал, эти - наиболее запоминающиеся, хотя возможно что-то я и забыл... Могу долго вдаваться в детали по желанию читателей :)