Основной принцип нейросети это подбор параметров (весов) в универсальной модели представления зависимостей.
Считайте, что нейросеть это универсальная функция, универсальный аппроксиматор любых зависимостей. В этом смысле обучение означает процедуру по подгонке (фитнесу) параметров универсального аппроксиматора.
Это теоретические математические основы нейросетей, доказано математиками, есть теоремы.
Простыми словами, нейросеть всего лишь продвинутый калькулятор.
Нейросеть это универсальный аппроксиматор (в том числе и универсальный классификатор) и ее многому можно научить, распознавать лица или номера машин и прочая, и прочая. Но это не ИИ и до ИИ ей (нейросетке) как до луны пешком.
Нейросеть это по своей сути полином, который в многомерном пространстве параметров разделяет гиперповерхностями многомерные точки на разные классы. Обучение это по сути подгонка или фиттинг коэффициентов полинома. Ничего таинственного в итоге. Предыдущая ссылку очень наглядно показывает процесс подгонки гиперповерхностей.
Конкретный вид нейрона (функции активации) не имеет значения, он должен реализовавываться нелинейной, непрерывной и монотонной функцией, а вот конкретный вид неважен.
В нейросети главное не вид нейрона, а возможность легко образовывать связи между нейронами, оказывается это весьма универсальное свойство.
С помощью нейросетей можно аппроксимировать весьма широкий класс функций, есть соответствующие теоремы.
Горбань А.Н. Функции многих переменных и нейронные сети
А. Н. Горбань, “Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей”
Воронцов. Лекции по искусственным нейронным сетям.
пдф-ки гуглятся.
ps
Нейросети
http://deep-econom.livejournal.com/61736.htmlнеплохая игрушка, дающая интуитивное понимание работы нейросетей
http://playground.tensorflow.org/