Математическое: квадратичные разделители
Некоторая мелкая философия без ответов, а так мысли вслух.
В машинном обучении важное базовое понятие это линейный классификатор, который разделяет два множества линейной гиперплоскостью. То есть линейное многообразие, когда одно множество оказывается с одной стороны, а второе с другой стороны гиперплоскости.
Если не получается разделить в исходном пространстве, то мы можем попробовать перейти в пространство большей размерности, для которого исходное является подпространством, а множества проекциями некоторых других множеств, и попробовать линейно разделить уже там. Теоретически новое пространство может быть и бывает(kernel trick) даже беcконечно-мерным банаховым(то есть и норма не обязана быть евклидовой).
Так вот следующий логичный шаг: а что есть вместо линейных разделителей рассмотреть квадратичные поверхности?
Следующие же шаги: алгебраические поверхности более высокого порядка, аналитические поверхности и так далее вплоть до произвольных непрерывных.
Возникают два вопроса. Первый: насколько мы можем выиграть при переходе от линейным к квадратичным? И второй: а так ли уж много можно выиграть на следующем этапе, при переходе от квадратичным к общим нелинейным?
Другими словами, может быть на самом деле уже квадратичных разделителей достаточно для любой разумной цели(то, что произвольными нелинейными функциями можно разделить два произвольных непересекающихся замкнутых множества, это определение T-4 топологических пространств, или Лемма Урысона для метрических). Но я вот почему-то не удивился бы, если уже квадратичных поверхностей в гильбертовом пространстве было бы достаточно для всех практических целей. Нет ли случаем такого варианта типа приближенной леммы Урысона для разделения замкнутых множеств с помощью квадратичных функционалов, возможно с переходом в надпространство как при kernel trick?
В машинном обучении важное базовое понятие это линейный классификатор, который разделяет два множества линейной гиперплоскостью. То есть линейное многообразие, когда одно множество оказывается с одной стороны, а второе с другой стороны гиперплоскости.
Если не получается разделить в исходном пространстве, то мы можем попробовать перейти в пространство большей размерности, для которого исходное является подпространством, а множества проекциями некоторых других множеств, и попробовать линейно разделить уже там. Теоретически новое пространство может быть и бывает(kernel trick) даже беcконечно-мерным банаховым(то есть и норма не обязана быть евклидовой).
Так вот следующий логичный шаг: а что есть вместо линейных разделителей рассмотреть квадратичные поверхности?
Следующие же шаги: алгебраические поверхности более высокого порядка, аналитические поверхности и так далее вплоть до произвольных непрерывных.
Возникают два вопроса. Первый: насколько мы можем выиграть при переходе от линейным к квадратичным? И второй: а так ли уж много можно выиграть на следующем этапе, при переходе от квадратичным к общим нелинейным?
Другими словами, может быть на самом деле уже квадратичных разделителей достаточно для любой разумной цели(то, что произвольными нелинейными функциями можно разделить два произвольных непересекающихся замкнутых множества, это определение T-4 топологических пространств, или Лемма Урысона для метрических). Но я вот почему-то не удивился бы, если уже квадратичных поверхностей в гильбертовом пространстве было бы достаточно для всех практических целей. Нет ли случаем такого варианта типа приближенной леммы Урысона для разделения замкнутых множеств с помощью квадратичных функционалов, возможно с переходом в надпространство как при kernel trick?