Привёз рыб с дачи

[thesz]

Завтра буду сушить машину

Comments

[upor]

можно про градиент подробнее, если говорить про градиент в пространстве.

[thesz]

А что интересует?

[upor]

Где берется градиент, от какой функции, в каком пространстве? Что есть такое матрица Фишера?

[thesz]

Функция у нас скаляр - обычно, это потери в обучении нейросети. Имеет вид Φ(x,w), где x это входы, w - параметры, оба-два векторы. Градиент берётся по параметрам. Какое-либо расстояние между параметрами редко бывает определённым, однако "длину вектора" используют довольно часто, её вводят в функцию потерь.

Матрица Фишера это сумма внешних произведений градиентов для всех элементов входного множества:

F=Σx(∇wF(x,w))T(∇wF(x,w))