Напишу
Про линейный разграничитель Фишера, ещё раз (писал тут и тут).
На этот раз про алгоритм.
При вычислении разграничителя мы вычисляем матрицы ковариации для данных с метками 1 и 0 (M1 и M0), а так же вычисляем суммарные вектора для тех же меток (V1 и V0). Далее, мы вычисляем разность матриц ковариаций M=M1-M0 и разность суммарных векторов V=V1-V0, после чего вычисляем, собственно, направление разграничения: D=M-1V.
Мы можем считать сразу разность матриц ковариаций и разность суммарных векторов, добавляя очередной отсчёт с весом 1 для метки L=1 и с весом -1 для метки L=0. Вес будет иметь вид W=L*2-1.
Теперь представим себе, что метка у нас представляет собой вероятность и может иметь значения от 0 до 1 включительно. Уравнение для веса мы менять не будем, оно хорошо соответствует крайним случаям, но самое интересное то, что для L=0.5 (на каждый наш пример с текущими входными данными и меткой 1 найдётся пример с теми же входами и меткой 0) вес W у нас будет 0. Как если бы пример с такой меткой ничего не менял, а он и не меняет.
То есть, линейный разграничитель Фишера может быть использован с метками-вероятностями разной природы.
Что интересно, метки-вероятности могут быть использованы и для кроссэнтропии. Там формула градиента совсем не меняется.
Да, и, по-моему, этот финт ушами с метками-вероятностями и разграничителем Фишера как-то связан с постепенно перевзвешиваемыми наименьшими квадратами. Но уже поздно, попробую потом подумать на эту тему.
На этот раз про алгоритм.
При вычислении разграничителя мы вычисляем матрицы ковариации для данных с метками 1 и 0 (M1 и M0), а так же вычисляем суммарные вектора для тех же меток (V1 и V0). Далее, мы вычисляем разность матриц ковариаций M=M1-M0 и разность суммарных векторов V=V1-V0, после чего вычисляем, собственно, направление разграничения: D=M-1V.
Мы можем считать сразу разность матриц ковариаций и разность суммарных векторов, добавляя очередной отсчёт с весом 1 для метки L=1 и с весом -1 для метки L=0. Вес будет иметь вид W=L*2-1.
Теперь представим себе, что метка у нас представляет собой вероятность и может иметь значения от 0 до 1 включительно. Уравнение для веса мы менять не будем, оно хорошо соответствует крайним случаям, но самое интересное то, что для L=0.5 (на каждый наш пример с текущими входными данными и меткой 1 найдётся пример с теми же входами и меткой 0) вес W у нас будет 0. Как если бы пример с такой меткой ничего не менял, а он и не меняет.
То есть, линейный разграничитель Фишера может быть использован с метками-вероятностями разной природы.
Что интересно, метки-вероятности могут быть использованы и для кроссэнтропии. Там формула градиента совсем не меняется.
Да, и, по-моему, этот финт ушами с метками-вероятностями и разграничителем Фишера как-то связан с постепенно перевзвешиваемыми наименьшими квадратами. Но уже поздно, попробую потом подумать на эту тему.