Аппроксимация нейронными сетями

[ushastyi]

На собеседование приходил студент-пятикурсник, который занимается аппроксимацией модели аэродинамики самолета при помощи нейронных сетей. Модель большая и сложная, у нее около 700 переменных и 70 критериев. Поскольку эту тему он по идее должен знать лучше всего, в основном говорили о нейронных сетях

Comments

[whiteferz]

=== То есть вопрос переформулируется в вид, можно ли аппроксимировать произвольную непрерывную функцию суперпозицией и линейной комбинацией простых функций одного переменного. Ответ положительный (это следствие из более общего утверждения). Никаких специальных условий на функцию активации не накладывается. ===

А вот насчет возможности использовать полученную аппроксимацию для, скажем, экстраполяции - ответ в общем случае, очевидно, отрицательный. (Берем косинус и приближаем параболой на отрезке от плюс-минус два пи пополам, затем... экстраполируем - и всё понятно.)

Кстати, если немного в сторону - попробовали обучать "нейронную сеть" отбирать фотоснимки ландшафтов, на которых есть окопавшиеся танки, а на которых нет.

И сеть дала 90%-ную точность, что вначале было оценено, как суперуспех. Затем стали разбираться с оставшимися десятью % и начали ставить диагностические тесты.

Оказалось, нейронная сеть определяет подходящий для маскировки танков ландшафт, как фактически ощетинившийся танками...

То есть, никогда нельзя точно сказать, чему нейронная сеть научится на самом деле. Как и с человеком, собственно...

[ushastyi]

С экстраполяцией, очевидно, что никак, если только не знать вид функции. Но мне кажется, что в большинстве инженерных задач интервалы изменения переменных ограничены. А значит, можно на краях что-нибудь посчитать или проверить и скормить сети.

Пример с танками просто замечательный!

[whiteferz]

Дело в том, что если "вы что-то знаете о виде функции", то у Вас задача чистой математической аппроксимации превращается, например, в эконометрическую, динамическое программирование или что-то типа. И тут опять "результат зависит больше не от программного пакета, а от того, кто экстраполирует".

[ushastyi]

Далеко не всегда. Это "что-то" может быть, например, что функция ограничена (и известны оценки сверху-снизу) или имеет какой-то тип регулярности (периодична) или асимптотику. В этом случае от аппроксимации никуда не деться, но экстраполяция становится несколько более реальной. Абсолютно верно, что такого рода дополнительные эвристики и их разумное применение -- это всецело квалификация специалиста.

[whiteferz]

Если у Вас функция параметрическая, т. е., определяемая из некоторого класса некоторым малым набором параметров, и есть несколько точек, отклонение от которых нужно этим набором параметров минимизировать, то это уже получается "чисто" эконометрическая задача. Без всяких "например". Там Maximum Likelihood рулит, в чистом виде.

Естественно, если траектория рассчитывается не в лоб, а каким-то типичным для, скажем, аэродинамики хитровывернутым способом, это добавляет слой усложнения, но более не логический, а вычислительный.

[ushastyi]

Я не знаю, что такое "чисто" эконометрические задачи, но из общих соображений при анализе аэродинамических моделей на выходе этапа аппроксимации должно быть что-то типа задачи многокритериальной оптимизации, то есть анализ Парето-границы образа функции. И дальше уже можно "крутить ручки" входных параметров, чтобы получить сбалансированный самолет.

У меня такое впечатление, что в нашем с Вами разговоре смешались "люди и кони", так как часть комментариев относится к аппроксимации вообще, а часть -- к конкретным приложениям, о которых у нас с Вами могут быть разные представления. Причем контекст может переключаться в пределах предложения :) Поэтому, давайте согласимся, что мы оба говорим в общем верные вещи, а спорить о деталях можно в рамках конкретной модели, которой у нас перед глазами сейчас нет.

[whiteferz]

Давайте согласимся.

Да я бы сказал, что с Вами и не спорил вовсе.

Это развитие очень давней байки...

[o_iv]

про то, как нейронную сеть учили отличать русские танки от американских. И обучили. Потом выяснилось, что сеть пошла по пути наименьшего сопротивления - оказалось, что все американские танки предъявлялись на фоне пустыни или выжженой солнцем прерии, а все русские танки предъявлялись на фоне леса или зеленых полей. Вот сеть и научилась: если фон желтый - танк американский, если фон зеленый - танк русский :-)