Про автоматическую колоризацию старых фотографий
Вчера в одной из соцсетей впервые за весьма долгое время наткнулся на рекламу, которая меня неподдельно заинтересовала.
Компания Mail.ru предложила всем желающим новую автоматическую (!) услугу - колоризацию и вообще улучшение старых чёрно-белых фотографий, для чего, как декларирует, использует мощь своих нейросетей, натренированных знакомством с «многими старыми фотографиями и военными фильмами».
Новая услуга, понятное дело, приурочена к наступающему Дню Победы, а результаты можно не просто сохранять в семейном архиве, но и закачивать в онлайн-альбом «Бессмертного полка», и распечатывать для праздничного шествия.
Будучи человеком, как вы, возможно знаете, с давних пор не чуждым фотографии, а заодно и обладателем внушительного семейного фотоархива, я не мог пройти мимо и углубился в испытания нового сервиса.
Сначала -
Общие технические наблюдения, полученные опытным путём
Сервис предлагает не только колоризацию, но и ретушь, довольно неплохо убирая царапины, пыль и мелкие дефекты изображения, хотя изредка «нейросети» способны путаться и ликвидировать лишние детали. Чем хуже оригинальная фотография, тем больше вариантов.
Для начала нужно выбрать заранее отсканированную (или переснятую) фотографию и закачать её в систему. Система ненадолго, на считанные секунды задумывается, комментируя происходящее, чтобы пользователь не подумал, что ничего не происходит.
После обработки вы увидите примерно такой экран.
Сейчас выведено колоризованное ретушированное изображение, которое система предлагает мне выслать по электронной почте, или скачать, или сразу распечатать. Если нажать на среднюю превьюшку справа, можно будет сделать всё то же самое с колоризованной, но неретушированной фотографией. Это полезно в том случае, если автоматическая чистка изображения вас чем-либо не устроила, либо вы уверены, что самостоятельно справитесь с задачей лучше.
Нижняя превьюшка откроет нераскрашенную, но отретушированную фотографию. При этом оригинальный тон отпечатка, если он был отсканирован в цветном, а не чёрно-белом режиме, сохранится, будь то настоящая сепия или простое пожелтение от старости неидеально промытого в своё время отпечатка. Тоже, кстати, интересный вариант для тех, кому оригинальное монохромное изображение больше по душе.
Важный технический момент: сколь бы большие цифровые фотографии вы ни закачивали в систему, она отдаст вам пропорционально уменьшенные файлы размером 1920 пикселов по длинной стороне. Если оригинал фотографии не превышает 1920 пикселов по длинной стороне - значит, улучшенное и колоризованное фото будет иметь оригинальный размер.
А теперь перейдём к куда более важному практическому вопросу
О качестве работы мэйлрушных нейросетей
Разумеется, оно далеко от идеала и несопоставимо с плодами труда профессиональных колоризаторов. Возможно, это вопрос времени, но пока - так, как есть.
Основной упор система делает на раскрашивание лица. Именно эта часть работы удаётся ей лучше всего. Неудивительно: в сервисе используется технология компьютерного зрения Vision, которая в первую очередь натренирована именно на распознавание лиц. Однако система, бывает, слишком увлекается.
Вот фотография моего деда Тимофея Тимофеевича (о котором я уже кое-что писал тут и тут), снятая во второй половине 1950-х годов.
Я привожу все четыре варианта: оригинал, ретушированная чёрно-белая фотография, колоризованная без ретуши и колоризованная ретушированная. Обращает на себя внимание несколько моментов. Так, система решила покрасить в телесный цвет и воротник форменной рубашки. петлицы на форме были, естественно, голубого цвета, но если правую (на фото слева) она странным образом и попыталась раскрасить, то левую (на фото справа) - не тронула вообще. Нетронутыми остались погоны с голубыми просветами, награды, знаки и наградные ленты.
Обратите внимание: мелкие дефекты изображения (заломы, потёртости, трещины) система устраняет вполне неплохо. Однако с крупными пока без ручной работы не обойтись. Дефект слева над погоном побеждён лишь частично, а к крупному повреждению эмульсионного слоя слева вверху система почти не притронулась. Возможно, посчитав его деталью изображения.
Следующая фотография была сделана в январе 1943 года, когда мой дед Тимофей Тимофеевич (справа) случайно встретился в Москве с младшим братом Петром Тимофеевичем.
Интересно, что авиационные петлицы деда система постаралась покрасить в голубой цвет, однако общевойсковые петлицы Петра Тимофеевича не тронула, а ведь они были, скорее всего, малиновые. Колодка медали «За боевые заслуги» чуть тронута красным, но не стала ярко-красной. А самое интересное - система сильно омолодила деду лицо. А ведь ему на фото 32, в то время как Петру - 22.
Следующая фотография - селфи, которое я снял задолго до того, как это стало мэйнстримом. На рубеже веков я, тогда зам. главного редактора журнала «Фотомагазин», испытывал попавший в мои руки трофейный немецкий фотоаппаратик с форматом кадра 24х24 мм, снарядив его хромогенной плёнкой Kodak BW400CN.
Здесь хорошо видно, что для системы пока главное - лицо. Оно покрашено неплохо, хотя около воротника есть странные разводы. А вот против остального она оказалась бессильна. Рубашка на мне была стандартного тёмно-синего джинсового цвета, а шкаф за мной, даром что имеет деревянную фактуру, тусклого серо-синего цвета.
И в завершение - ещё одна показательная фотография, на которой ваш покорный изображён счастливым четвероклассником в конце славного 1980 года.
Ни тёмно-синего цвета школьной формы, ни алого пионерского галстука система, увы, не поняла и не воссоздала, ограничившись лицом и причёской. Кстати, любопытный момент: отправленный на колоризацию файл RGB весил 423 кБ, а полученный раскрашенный оказался 226 кБ.
Заключение
Услуга автоматической колоризации чёрно-белых фотографий не могла не появиться - спрос на неё есть, причём он, очевидно, будет нарастать. Однако по состоянию на сейчас практическая её реализация ещё очень далека от совершенства. Честно говоря, её даже удовлетворительной назвать пока не всегда получается.
При всём том это очень интересный эксперимент, и многим понравится уже хотя бы то, что они смогут увидеть лица своих предков в более-менее естественных цветах. А учитывая временами пугающие темпы развития систем обработки «бигдаты» нейросетями, в довольно скором времени можно ожидать и существенное улучшение качества обработки исходных изображений. С автоматическим распознаванием орденских ленточек, просветов на погонах, петлиц, околышей и прочих деталей, которые наполняют жизнью фотографии на военную тему. Пока же предъявлять слишком высокие требования к этому бесплатному (существенная деталь) сервису рано.
Советую попробовать и поупражняться со своими фотографиями самостоятельно. Процесс интересный и даже увлекательный. К тому же, вполне возможно, пока я записывал эти свои наблюдения, мэйлрушные нейросети стали ещё немного умнее и обработают ваши фотографии лучше.
Сервис ретуши и колоризации фотографий от Mail.ru
Все опубликованные фотографии - из моего семейного архива.
Если мой пост вам понравился, вы можете поблагодарить меня за мой труд любым доступным способом.
Компания Mail.ru предложила всем желающим новую автоматическую (!) услугу - колоризацию и вообще улучшение старых чёрно-белых фотографий, для чего, как декларирует, использует мощь своих нейросетей, натренированных знакомством с «многими старыми фотографиями и военными фильмами».
Новая услуга, понятное дело, приурочена к наступающему Дню Победы, а результаты можно не просто сохранять в семейном архиве, но и закачивать в онлайн-альбом «Бессмертного полка», и распечатывать для праздничного шествия.
Будучи человеком, как вы, возможно знаете, с давних пор не чуждым фотографии, а заодно и обладателем внушительного семейного фотоархива, я не мог пройти мимо и углубился в испытания нового сервиса.
Сначала -
Общие технические наблюдения, полученные опытным путём
Сервис предлагает не только колоризацию, но и ретушь, довольно неплохо убирая царапины, пыль и мелкие дефекты изображения, хотя изредка «нейросети» способны путаться и ликвидировать лишние детали. Чем хуже оригинальная фотография, тем больше вариантов.
Для начала нужно выбрать заранее отсканированную (или переснятую) фотографию и закачать её в систему. Система ненадолго, на считанные секунды задумывается, комментируя происходящее, чтобы пользователь не подумал, что ничего не происходит.
После обработки вы увидите примерно такой экран.
Сейчас выведено колоризованное ретушированное изображение, которое система предлагает мне выслать по электронной почте, или скачать, или сразу распечатать. Если нажать на среднюю превьюшку справа, можно будет сделать всё то же самое с колоризованной, но неретушированной фотографией. Это полезно в том случае, если автоматическая чистка изображения вас чем-либо не устроила, либо вы уверены, что самостоятельно справитесь с задачей лучше.
Нижняя превьюшка откроет нераскрашенную, но отретушированную фотографию. При этом оригинальный тон отпечатка, если он был отсканирован в цветном, а не чёрно-белом режиме, сохранится, будь то настоящая сепия или простое пожелтение от старости неидеально промытого в своё время отпечатка. Тоже, кстати, интересный вариант для тех, кому оригинальное монохромное изображение больше по душе.
Важный технический момент: сколь бы большие цифровые фотографии вы ни закачивали в систему, она отдаст вам пропорционально уменьшенные файлы размером 1920 пикселов по длинной стороне. Если оригинал фотографии не превышает 1920 пикселов по длинной стороне - значит, улучшенное и колоризованное фото будет иметь оригинальный размер.
А теперь перейдём к куда более важному практическому вопросу
О качестве работы мэйлрушных нейросетей
Разумеется, оно далеко от идеала и несопоставимо с плодами труда профессиональных колоризаторов. Возможно, это вопрос времени, но пока - так, как есть.
Основной упор система делает на раскрашивание лица. Именно эта часть работы удаётся ей лучше всего. Неудивительно: в сервисе используется технология компьютерного зрения Vision, которая в первую очередь натренирована именно на распознавание лиц. Однако система, бывает, слишком увлекается.
Вот фотография моего деда Тимофея Тимофеевича (о котором я уже кое-что писал тут и тут), снятая во второй половине 1950-х годов.
Я привожу все четыре варианта: оригинал, ретушированная чёрно-белая фотография, колоризованная без ретуши и колоризованная ретушированная. Обращает на себя внимание несколько моментов. Так, система решила покрасить в телесный цвет и воротник форменной рубашки. петлицы на форме были, естественно, голубого цвета, но если правую (на фото слева) она странным образом и попыталась раскрасить, то левую (на фото справа) - не тронула вообще. Нетронутыми остались погоны с голубыми просветами, награды, знаки и наградные ленты.
Обратите внимание: мелкие дефекты изображения (заломы, потёртости, трещины) система устраняет вполне неплохо. Однако с крупными пока без ручной работы не обойтись. Дефект слева над погоном побеждён лишь частично, а к крупному повреждению эмульсионного слоя слева вверху система почти не притронулась. Возможно, посчитав его деталью изображения.
Следующая фотография была сделана в январе 1943 года, когда мой дед Тимофей Тимофеевич (справа) случайно встретился в Москве с младшим братом Петром Тимофеевичем.
Интересно, что авиационные петлицы деда система постаралась покрасить в голубой цвет, однако общевойсковые петлицы Петра Тимофеевича не тронула, а ведь они были, скорее всего, малиновые. Колодка медали «За боевые заслуги» чуть тронута красным, но не стала ярко-красной. А самое интересное - система сильно омолодила деду лицо. А ведь ему на фото 32, в то время как Петру - 22.
Следующая фотография - селфи, которое я снял задолго до того, как это стало мэйнстримом. На рубеже веков я, тогда зам. главного редактора журнала «Фотомагазин», испытывал попавший в мои руки трофейный немецкий фотоаппаратик с форматом кадра 24х24 мм, снарядив его хромогенной плёнкой Kodak BW400CN.
Здесь хорошо видно, что для системы пока главное - лицо. Оно покрашено неплохо, хотя около воротника есть странные разводы. А вот против остального она оказалась бессильна. Рубашка на мне была стандартного тёмно-синего джинсового цвета, а шкаф за мной, даром что имеет деревянную фактуру, тусклого серо-синего цвета.
И в завершение - ещё одна показательная фотография, на которой ваш покорный изображён счастливым четвероклассником в конце славного 1980 года.
Ни тёмно-синего цвета школьной формы, ни алого пионерского галстука система, увы, не поняла и не воссоздала, ограничившись лицом и причёской. Кстати, любопытный момент: отправленный на колоризацию файл RGB весил 423 кБ, а полученный раскрашенный оказался 226 кБ.
Заключение
Услуга автоматической колоризации чёрно-белых фотографий не могла не появиться - спрос на неё есть, причём он, очевидно, будет нарастать. Однако по состоянию на сейчас практическая её реализация ещё очень далека от совершенства. Честно говоря, её даже удовлетворительной назвать пока не всегда получается.
При всём том это очень интересный эксперимент, и многим понравится уже хотя бы то, что они смогут увидеть лица своих предков в более-менее естественных цветах. А учитывая временами пугающие темпы развития систем обработки «бигдаты» нейросетями, в довольно скором времени можно ожидать и существенное улучшение качества обработки исходных изображений. С автоматическим распознаванием орденских ленточек, просветов на погонах, петлиц, околышей и прочих деталей, которые наполняют жизнью фотографии на военную тему. Пока же предъявлять слишком высокие требования к этому бесплатному (существенная деталь) сервису рано.
Советую попробовать и поупражняться со своими фотографиями самостоятельно. Процесс интересный и даже увлекательный. К тому же, вполне возможно, пока я записывал эти свои наблюдения, мэйлрушные нейросети стали ещё немного умнее и обработают ваши фотографии лучше.
Сервис ретуши и колоризации фотографий от Mail.ru
Все опубликованные фотографии - из моего семейного архива.
Если мой пост вам понравился, вы можете поблагодарить меня за мой труд любым доступным способом.