нейронные сети являются универсальными аппроксиматорами функций
Лекции по искусственным нейронным сетям
К. В. Воронцов
21 декабря 2007 г.
http://www.ccas.ru/voron/download/NeuralNets.pdf
------
стр.12
4. Известна классическая теорема Вейерштрасса о том, что любую непрерыв-
ную функцию n переменных можно равномерно приблизить полиномом с любой сте-
пенью точности. Более общая теорема Стоуна утверждает, что любую непрерывную
функцию на произвольном компакте X можно приблизить не только многочленом
от исходных переменных, но и многочленом от любого конечного набора функций F,
разделяющих точки [17].
стр.12.
На самом деле справедливо ещё более общее утверждение. Оказывается, вместо
многочленов (суперпозиции операций сложения и умножения) можно пользоваться
суперпозициями сложения и какой-нибудь (практически произвольной) непрерывной
нелинейной функции одного аргумента [3]. Этот результат имеет прямое отноше-
ние к нейронным сетям, поскольку они строятся из операций сложения, умножения
и нелинейных функций активации.
стр.12-13
Это интерпретируется как утверждение об универсальных аппроксимационных
возможностях произвольной нелинейности: с помощью линейных операций и един-
ственного нелинейного элемента ϕ можно получить устройство, вычисляющее любую
непрерывную функцию с любой желаемой точностью. Однако данная теорема ничего
не говорит о количестве слоёв нейронной сети (уровней вложенности суперпозиции)
и о количестве нейронов, необходимых для аппроксимации произвольной функции.
Таким образом, нейронные сети являются универсальными аппроксиматорами
функций.
ps что такое нейросеть? https://deep-econom.livejournal.com/102997.html
К. В. Воронцов
21 декабря 2007 г.
http://www.ccas.ru/voron/download/NeuralNets.pdf
------
стр.12
4. Известна классическая теорема Вейерштрасса о том, что любую непрерыв-
ную функцию n переменных можно равномерно приблизить полиномом с любой сте-
пенью точности. Более общая теорема Стоуна утверждает, что любую непрерывную
функцию на произвольном компакте X можно приблизить не только многочленом
от исходных переменных, но и многочленом от любого конечного набора функций F,
разделяющих точки [17].
стр.12.
На самом деле справедливо ещё более общее утверждение. Оказывается, вместо
многочленов (суперпозиции операций сложения и умножения) можно пользоваться
суперпозициями сложения и какой-нибудь (практически произвольной) непрерывной
нелинейной функции одного аргумента [3]. Этот результат имеет прямое отноше-
ние к нейронным сетям, поскольку они строятся из операций сложения, умножения
и нелинейных функций активации.
стр.12-13
Это интерпретируется как утверждение об универсальных аппроксимационных
возможностях произвольной нелинейности: с помощью линейных операций и един-
ственного нелинейного элемента ϕ можно получить устройство, вычисляющее любую
непрерывную функцию с любой желаемой точностью. Однако данная теорема ничего
не говорит о количестве слоёв нейронной сети (уровней вложенности суперпозиции)
и о количестве нейронов, необходимых для аппроксимации произвольной функции.
Таким образом, нейронные сети являются универсальными аппроксиматорами
функций.
ps что такое нейросеть? https://deep-econom.livejournal.com/102997.html