Нейросеть «убрала» автомобили с улиц.
Из века в век,
Как камни в жернова
Летят живые судьбы тех,
В ком радость, в ком любовь Его жива -
Но круг бежит,
И лишь песок струится между жерновов,
И мир лежит во мгле,
И не кончается любовь.
(Автор неизвестен.)
Не стреляй, урод - пули прокляты
Пули в сердце - билеты в ад
По дорогам, тобой протоптанным
Все - вернётся тебе назад…
(Анастасия Дмитрук.)
Принимаясь за дело, соберись с духом.
(К. Прутков.)
Энто как же, вашу мать,
Извиняюсь, понимать?
(Л. Филатов.)
Всякий раз, когда они кричат: «Бей разруху!», они должны хлопать самих себя по затылку!
(М. А. Булгаков.)
Программист Крис Харрис (Chris Harris) создал приложение для смартфона, удаляющее автомобили с улиц
В последние годы в области машинного обучения наблюдается большой прогресс и наиболее заметен он в области алгоритмов для работы с изображениями. К примеру, программы уже умеют реалистично переносить мимику с лица одного человека на лицо другого, а также создавать полностью синтезированные видеоролики. Некоторые серьезные нейросетевые алгоритмы для обработки уже доступны для массового использования. Например, недавно Adobe внедрила в видеоредактор After Effects функцию автоматического удаления объектов с видео и замену их на реалистичный фон. Но эта функция требует от пользователя вручную выделять интересующие его объекты, а также тратит некоторое время на расчет изменений.
Разработчик Крис Харрис (Chris Harris) показал, как похожую технологию можно использовать в реальном времени для «удаления» автомобилей с улицы. На опубликованном видео можно видеть, как нейросетевой алгоритм заменяет автомобили в кадре на синтезированное фоновое изображение.
Автор ролика не рассказал, как именно работает алгоритм, однако некоторые предположения о его работе все же можно сделать. По-видимому, в алгоритме используются две нейросети, одна из которых распознает автомобили в кадре и выделяет их, а вторая работает с выделенными областями. Судя по тому, что на некоторых кадрах явно видна измененная прямоугольная область, в алгоритме не используется отдельная сеть для семантической сегментации. Обычно такие нейросети применяют для относительно аккуратного выделения объекта определенного типа в кадре.
Вероятно, нейросеть для создания фона учитывает соседние области на кадре, потому что на некоторых кадрах она дорисовывает стволы деревьев и столбы, закрытые автомобилем. Вместе с этим, она не учитывает соседние кадры при формировании фона, потому что на видео можно видеть, что в некоторых случаях алгоритм дорисовывает ствол дерева или столб даже если на предыдущих кадрах видно, что он закрыт не автомобилем, а другим объектом на фоне. Стоит отметить, что пока созданный программистом алгоритм - скорее демонстрация принципиальной возможности такого подхода, чем готовая для реального использования технология.
Ранее другие разработчики создавали похожие технологии для блокировки некоторых объектов в реальном мире. К примеру, в 2015 году американский программист создал шлем дополненной реальности, размывающий изображения брендов на предметах перед пользователем.
Взято из: https://auto.mail.ru/article/72736-neiroset_ubrala_avtomobili_s_ulic_vyglyadit_stranno/
Как камни в жернова
Летят живые судьбы тех,
В ком радость, в ком любовь Его жива -
Но круг бежит,
И лишь песок струится между жерновов,
И мир лежит во мгле,
И не кончается любовь.
(Автор неизвестен.)
Не стреляй, урод - пули прокляты
Пули в сердце - билеты в ад
По дорогам, тобой протоптанным
Все - вернётся тебе назад…
(Анастасия Дмитрук.)
Принимаясь за дело, соберись с духом.
(К. Прутков.)
Энто как же, вашу мать,
Извиняюсь, понимать?
(Л. Филатов.)
Всякий раз, когда они кричат: «Бей разруху!», они должны хлопать самих себя по затылку!
(М. А. Булгаков.)
Программист Крис Харрис (Chris Harris) создал приложение для смартфона, удаляющее автомобили с улиц
В последние годы в области машинного обучения наблюдается большой прогресс и наиболее заметен он в области алгоритмов для работы с изображениями. К примеру, программы уже умеют реалистично переносить мимику с лица одного человека на лицо другого, а также создавать полностью синтезированные видеоролики. Некоторые серьезные нейросетевые алгоритмы для обработки уже доступны для массового использования. Например, недавно Adobe внедрила в видеоредактор After Effects функцию автоматического удаления объектов с видео и замену их на реалистичный фон. Но эта функция требует от пользователя вручную выделять интересующие его объекты, а также тратит некоторое время на расчет изменений.
Разработчик Крис Харрис (Chris Harris) показал, как похожую технологию можно использовать в реальном времени для «удаления» автомобилей с улицы. На опубликованном видео можно видеть, как нейросетевой алгоритм заменяет автомобили в кадре на синтезированное фоновое изображение.
Автор ролика не рассказал, как именно работает алгоритм, однако некоторые предположения о его работе все же можно сделать. По-видимому, в алгоритме используются две нейросети, одна из которых распознает автомобили в кадре и выделяет их, а вторая работает с выделенными областями. Судя по тому, что на некоторых кадрах явно видна измененная прямоугольная область, в алгоритме не используется отдельная сеть для семантической сегментации. Обычно такие нейросети применяют для относительно аккуратного выделения объекта определенного типа в кадре.
Вероятно, нейросеть для создания фона учитывает соседние области на кадре, потому что на некоторых кадрах она дорисовывает стволы деревьев и столбы, закрытые автомобилем. Вместе с этим, она не учитывает соседние кадры при формировании фона, потому что на видео можно видеть, что в некоторых случаях алгоритм дорисовывает ствол дерева или столб даже если на предыдущих кадрах видно, что он закрыт не автомобилем, а другим объектом на фоне. Стоит отметить, что пока созданный программистом алгоритм - скорее демонстрация принципиальной возможности такого подхода, чем готовая для реального использования технология.
Ранее другие разработчики создавали похожие технологии для блокировки некоторых объектов в реальном мире. К примеру, в 2015 году американский программист создал шлем дополненной реальности, размывающий изображения брендов на предметах перед пользователем.
Взято из: https://auto.mail.ru/article/72736-neiroset_ubrala_avtomobili_s_ulic_vyglyadit_stranno/