Полиномы - это, конечно, хорошо, они очень быстро вычисляются. Но они плохо ведут себя на бесконечности. Нефизично получается, экстраполяция всегда плоха, но в случае с полиномами она как-то уж совсем экстремально плоха. Как я понял, поэтому и берут сигмоиды, которые вычисляются сложнее, зато на бесконечности имеют конечный предел. И потом, ну вот ограничились мы 4-й степенью. А композиция двух таких полиномов будет уже 16-й степени. Для такой высокой степени уже и интерполяция может плохо себя вести. Может, конечно, и хорошо поведёт, экспериментировать надо.
Сигмоиды используют в весьма особых случаях, наподобие "внимания" или "minimal RNN". В наше время используют RELU (f(x)=(x+|x|)/2 или LRELU (f(x)=(x+a|x|)/b). Обе конечного предела не имеют.
Там смысл как раз в том, что нейронки могут быть (иногда весьма успешно) сведены к полиномам, и что простая квадратичная нелинейность в пяти слоях становится нелинейностью тридцатого порядка.
Comments 2
Но они плохо ведут себя на бесконечности. Нефизично получается, экстраполяция всегда плоха, но в случае с полиномами она как-то уж совсем экстремально плоха.
Как я понял, поэтому и берут сигмоиды, которые вычисляются сложнее, зато на бесконечности имеют конечный предел.
И потом, ну вот ограничились мы 4-й степенью. А композиция двух таких полиномов будет уже 16-й степени. Для такой высокой степени уже и интерполяция может плохо себя вести. Может, конечно, и хорошо поведёт, экспериментировать надо.
Reply
Вы ознакомьтесь с NNAEPR: https://matloff.wordpress.com/2018/06/20/neural-networks-are-essentially-polynomial-regression/
Там смысл как раз в том, что нейронки могут быть (иногда весьма успешно) сведены к полиномам, и что простая квадратичная нелинейность в пяти слоях становится нелинейностью тридцатого порядка.
Reply
Leave a comment