Pour la science № 511 - как оценить сложность модели?

Sep 24, 2020 10:40

Одна из тем, больше всего мне понравившихся в Machine Learning - это проблема overfit ( Read more... )

математика, pour la science

Leave a comment

Comments 5

zlyuk September 24 2020, 10:15:34 UTC
есть вполне стандартный код придуманный, кажется геделем, вида (p1^a1)*(p2^a2)*...*(pk^ak), где p1,...,pk - разные простые числа, а1,...,ак - последовательность целых чисел которую мы хотим закодировать одним числом. он замечателен тем что однозначно кодирует все конечные последовательности, любой длины (ну и конечно тем, что для компьютеров он бесполезен).
я статью, конечно, не читал, не знаю в чём там пафос. но в классической статистике модель регрессии зависит от параметров и данных гладко,
и в такой ситуации есть смысл обсуждать вопрос кол-ва параметров в модели.
для современных дел есть Вапник-Червоненкис, или же Information Criteria. в обоих случаях, пляшем не от абстракций репрезентации, а от вопроса, примерно тавтологичного overfit: какую точность мы ожидаем от модели в будущем её использовании. Любое пособие для начинающего машинлернера предостерегает от прямого подсчёта параметров, именно их приведённых вами соображений.

Reply

green_fr September 24 2020, 12:59:34 UTC
Да, точно, вариант с простыми числами я тоже где-то видел, красиво!

Reply


akor168 September 24 2020, 17:47:47 UTC
В тот же район. Кажется, можно построить непрерывную функцию двух переменных F(x,у) со свойством что любая непрерывная функция одной переменной реализуется как F(x,С) для некоторого значения параметра С.

Reply


morfizm September 24 2020, 18:37:48 UTC
Математикам надо брать курс "основы теории информации", чтобы слово "параметр" всегда подразумевало конкретный битовый размер :)

Reply

green_fr September 25 2020, 07:58:35 UTC
Так об этом же и речь! Предыдущая тема про действительные числа и физику - это ведь то же самое. Сложно не впасть в компьютерно-центрическое представление мира, когда ты начинаешь задавать себе вопросы «до скольких знаков после запятой считает природа?»

Reply


Leave a comment

Up