Математическое: квадратичные разделители

[akor168]

Некоторая мелкая философия без ответов, а так мысли вслух

Comments

[ticklish_frog]

Я думаю, линейные формы хороши тем, что они быстро считаются и распараллеливаются. Квадратичные формы опасны тем, что в полном случае (неразреженном) слишком много коэффициентов передавать туда-сюда, а если с разреженными коэффициентами, то нетривиальный эффект для скорости - это распаковка нужных пар коэффициентов. Поэтому практически делают линейный классификатор с вручную созданными квадратичными членами.

[akor168]

Ну да, это если с практической точки зрения то надо искусственно создавать квадратичные добавки к линейному(иначе там уже слишком много к-в и мороки). Но вопрос, насколько это мощно потенциально, чтобы этим начать заниматься.

[russhatter]

Есть игры с ядрами, я так понимаю, они иногда работают, но никто ничего глубоко не знает. Это искажение пространства перед тем, как его резать плоскостями. И это - альтернатива квадратичным разрезам. Кажется, что она проще, если для практических целей. Но может и нет...

[akor168]

Что про линейные ядра почему-то никто не демонстрирует(или не имеет) глубокое знание, меня тоже сильно удивляет. Типа попробуйте несколько стандартных, несмотря что по идее их очень много и есть описания.

[misha_b]

Что значит не знают? На эту тему много науки имеется.

[russhatter]

Хорошо, раз так. А есть на что посмотреть в смысле ссылок?

[vedroid]

https://www.math.arizona.edu/~hzhang/math574m/Read/vapnik.pdf

[akor168]

А по конкретнее в контексте заданной темы. Если имеется ввиду VC размерность, то оно и в достаточно большой размерности линейный классификатор имеет достаточную размерность чтобы с этой точки зрения не было противоречия. Но дьявол в деталях. А квадратичный классификатор интуитивно должен иметь в квадрат больше эффективности в той же размерности.

[vedroid]

Там излагаются ближе к концу машины опорных векторов, и нелинейные разделяющие поверхности там тоже есть.

[vedroid]

Нелинейный классификатор он больше коэффициентов имеет, а размерность это размерность пространства классификаторов, в некотором приближении.

[schloenski]

Ну вот бывает квадратичный дискриминантный анализ: https://en.wikipedia.org/wiki/Quadratic_classifier

Но он, кажется, особенно не нужен, т.к. сложную сепарацию можно кёрнелами сделать.

[akor168]

Гмм, а действительно с ядром

A(x,y)+B(x,y)^2

линейный классификатор вроде бы эквивалентен квадратичному в исходном пространстве.

Хотя вроде не совсем, для ядра надо накладывать условие положительности на к-ты A и B, а вообще-то квадратичный классификатор априори вовсе не обязан быть эллипсоидом.

[zlyuk]

точнее, если добавить базис в котором есть x^2, y^2, xy и применить линейный сепаратор, это эквивалентно квадратичному разделению. и так с любым полиномиальным иди сколь угодно хитровверченным сепаратором. это просто частный случай ядра

[deep_econom]

объединение линейных что угодно разделит, приблизить можно любую функцию

[akor168]

В достаточно большом надпространстве? Вполне верю, хотя не помню, чтобы это где-то явно отмечалось.

[misha_b]

Of course it is well-known. A RKHS corresponding to, say, the Gaussian kernel is dense in the set of all functions (in L_2, say). You can search for universal kernels, for example.