"Одного параметра всегда достаточно"
Красивый математический результат. Оказывается, любую функцию, определенную на множестве натуральных чисел, можно аппроксимировать, задав значение всего одного параметра одной конкретной функции.
На первый взгляд, результат кажется ошеломляющим. Представьте: у вас есть какая-то функция, т.е. целая куча "чиселок". И тут вдруг предлагается заменить все эти чиселки всего одной.
На самом деле, профессиональные математики, скорее всего, давным-давно это знают.
И даже с точки зрения обывателя, если поразмыслить, результат не кажется магическим. Допустим, у нас есть функция со значениями от 0 до 1, заданная в 1000 точек. Допустим далее, что точность в 10 знаков после запятой для нас достаточна. Мы берем 1000 значений функции и у каждого из них оставляем только 10 знаков после запятой. А затем "склеиваем" получившиеся числа в одно длинное число, у которого будет 10 000 знаков после запятой. Таким образом, мы "закодировали" целую функцию всего одним числом. Никакой магии нет. Никакой потери информации не произошло. Число, в результате, у нас получилось действительно одно, но в нем целых 10 000 знаков.
Теорема, доказанная в статье, примерно об этом и говорит. Правда, там получен чуть более интересный результат. Автор показывает, что функция, с помощью которой производится аппроксимация, бесконечно гладкая. А это уже имеет прямое отношение к машинному обучению. Широко распространено мнение, что для того, чтобы "переобучить" машинные модели (т.е. заточить их под слишком узкую задачу), нужно большое количество параметров. Однако оказывается, что одного параметра может быть достататочно.
https://colala.bcs.rochester.edu/papers/piantadosi2018one.pdf
На первый взгляд, результат кажется ошеломляющим. Представьте: у вас есть какая-то функция, т.е. целая куча "чиселок". И тут вдруг предлагается заменить все эти чиселки всего одной.
На самом деле, профессиональные математики, скорее всего, давным-давно это знают.
И даже с точки зрения обывателя, если поразмыслить, результат не кажется магическим. Допустим, у нас есть функция со значениями от 0 до 1, заданная в 1000 точек. Допустим далее, что точность в 10 знаков после запятой для нас достаточна. Мы берем 1000 значений функции и у каждого из них оставляем только 10 знаков после запятой. А затем "склеиваем" получившиеся числа в одно длинное число, у которого будет 10 000 знаков после запятой. Таким образом, мы "закодировали" целую функцию всего одним числом. Никакой магии нет. Никакой потери информации не произошло. Число, в результате, у нас получилось действительно одно, но в нем целых 10 000 знаков.
Теорема, доказанная в статье, примерно об этом и говорит. Правда, там получен чуть более интересный результат. Автор показывает, что функция, с помощью которой производится аппроксимация, бесконечно гладкая. А это уже имеет прямое отношение к машинному обучению. Широко распространено мнение, что для того, чтобы "переобучить" машинные модели (т.е. заточить их под слишком узкую задачу), нужно большое количество параметров. Однако оказывается, что одного параметра может быть достататочно.
https://colala.bcs.rochester.edu/papers/piantadosi2018one.pdf