Раскраска черно-белых фото и рисунков нейросетью

[iwtkl]

Ещё один сервис на основе сверточных НС, теперь это раскрашивалка фотографий. Последний месяц было очень много публикаций про обучение сверточной нейросети раскрашивать изображения. Хотя уже достаточно давно разные группы исследователей сообщали об успехах в раскрашивании (даже tema писал об этом), большой шум возник только после победы AlphaGo. Но есть ещё один момент, почему этот шум возник сейчас - разработчики из Беркли не только разработали НС, обучили её на массиве данных и отписались в научный журнал (там подробно про архитектуру и впечатляющие примеры раскрашивания, сюда не стал копировать), они также выложили обученную нейронную сеть вместе со всей документацией в свободный доступ (GitHub), что в свою очередь позволяет любому человеку запустить универсальный раскрашиватель у себя. Конечно, не каждый сможет собрать у себя это хозяйство, поэтому один добрый человек выложил виртуальную машину с собранной НС, а другй ещё более добрый человек развернул это все в веб-сервис - recolor.ml. Попробуйте. Сервис иногда падает, не вытягивает нагрузку, но тем не менее позволяет любому раскрасить Ч/Б изображение. В отзывах пишут, что очень классно получается раскрашивать рисунки. Я же попробую раскрасить вот эту фотографию Гарри Гудини и сравнить с результатом работы профессионального колоризатора. Эта фотография сделана за несколько мгновений до легендарного трюка Гарри Гудини. Нью-Йорк, июль 1912 г. Его закуют, запрут в ящике и опустят в воду пролива Ист-Ривер.




Вот как её раскрасила НС. Очень хорошо получилась вода, есть проблески неба, пиджак на переднем плане и, пожалуй, все.


А вот как раскрасил человек. Хотя тут есть и редактура, но в данном случае я привел этот пример, чтобы продемоснтрировать какой разрыв все ещё сохраняется между способностями машины и человека.