Сомнений нет

[thesz]

https://arxiv.org/abs/2402.03187 - хочу предложить своё видение того, что же там написано.

Итак, нейросеть оптимизирует функцию потерь. Обычно, функция эта гладкая и, в некоторой небольшой области около (местного) наименьшего значения, так и вовсе напоминает (вытянутую) параболу. Такие вытянутые параболы в статье и вообще в культуре нейросетей называются basin (ванна). Однако, ванн таких может быть много, смотря, как функцию потерь смотреть (какие проекции выбрать), да даже в какой-то выбранной проекции можно обнаружить несколько переходящих друг в друга ванн, которые, поэтому, мне стоит называть "долинами."

Статья рассказывает о том, что эти долины и составляют мощь работы нейросетей. Ибо если искусственно ограничить количество долин одной (эксперимент в статье), то предсказательная мощь заметно снижается. И что вложенные друг в друга и ветвящиеся долины и есть основное, что делает нейросети столь мощными.

Фактически, это признание наличия внутри нейросетей "алгоритма с кучей if," выраженного для странной виртуальной машины с вероятностными значениями.