В описание API Keras об инициализаторе HeNormal сказано следующее:

It draws samples from a truncated normal distribution centered on 0 with stddev = sqrt(2 / fan_in) where fan_inis the number of input units in the weight tensor.
Откуда же взялось такое стандартное отклонение и почему было выбрано именно оно?


( Read more... )