В описание API Keras об инициализаторе HeNormal сказано следующее:

It draws samples from a truncated normal distribution centered on 0 with stddev = sqrt(2 / fan_in) where fan_inis the number of input units in the weight tensor.
Откуда же взялось такое стандартное отклонение и почему было выбрано именно оно?


( Read more... )

Начинать разбираться со свёрточными сетями лучше всего с LeNet-5. Этой архитектуре уже много лет, она проста для понимания, на современном железе быстро обучается и показывает на датасете MNIST неплохой результат.


( Read more... )

Представим, что на вход слою Max Pooling подается матрица размером 4 х 4, которая выглядит, например, вот так:


( Read more... )

Есть изображение размером 39 х 39 х 3:


( Read more... )

У нас есть цветная картинка, размером 6 х 6 пикселей и два 3 х 3 фильтра, которые на выходе дают две матрицы размера 4 х 4:


( Read more... )

Цветное изображение, по сути, представляет собой три матрицы, каждая ячейка которой, описывает интенсивность цветов red, green и blue каждого пикселя.

Когда операцию свёртки нужно применить к цветному изображению, имеющему три цветовых слоя, фильтр должен также быть трёхслойным, при этом на выходе получается однослойное изображение:


( Read more... )

Если применить операцию свертки к изображению с разрешением 7 х 7, используя фильтр 3 х 3, на выходе получится изображение, размером 5 х 5:


( Read more... )

Если взять изображение размера 6 x 6 пикселей и провести над ним операцию свертки при помощи фильтра размера 3 x 3, то на выходе получится уменьшенное изображение размера 4 x 4:


( Read more... )