Дивергенция Кульбака-Лейблера

[yu_xuan]

Дивергенция или расхождение Кульбака-Лейблера (KL) - это мера, позволяющая определить насколько информационная энтропия одного распределения отлична от энтропии другого распределения.

Для определения KL нужно вычислить информационную энтропию обоих распределений и найти их разность. Однако, просто в лоб этого сделать нельзя, поскольку KL вычисляется для одного распределения (Q) относительно другого распределения (P), поэтому в первой половине формулы вычисления энтропии (Q) вероятность используется из распределения (P), относительно которого производится вычисление:



Эту формулу можно упростить:



иногда можно встретить вариант этой формулы со знаком минус:



KL - мера несимметричная, то есть значение, вычисленное для распределения Q относительно P, не будет равно значению, вычисленному для распределения P относительно Q. Именно поэтому, например, профессор Ali Ghodsi против того, чтобы называть KL расстоянием, потому как расстояние подразумевает под собой симметрию.

https://ru.wikipedia.org/wiki/Расстояние_Кульбака_-_Лейблера
https://docs.scipy.org/doc/scipy/reference/generated/scipy.stats.entropy.html