Дивергенция или расхождение Кульбака-Лейблера (KL) - это мера, позволяющая определить насколько информационная энтропия одного распределения отлична от энтропии другого распределения ( Read more... )

Информация случайного события вычисляется как минус логарифм вероятности этого события:


( Read more... )