Google представила ИИ-сервис дубляжа видео с переводом и его синхронизацией по губам
Google разрабатывает новую ИИ-службу перевода, которая позволяет дублировать видео на другие языки и синхронизировать губы говорящего со словами языка перевода, которые он никогда не произносил. Технология открывает новые возможности в кинематографе и образовании, но также вызывает опасения относительно неправомерного использования.
Сервис под названием «Универсальный переводчик» берет входное видео, например, лекцию из онлайн-курса, записанную на английском языке, расшифровывает речь, переводит ее, регенерирует речь (в соответствии со стилем и тоном) на новом языке, а затем редактирует видео так, что губы говорящего точно соответствовали словам на другом языке.
Новая технология перевода Google может использоваться в различных сферах. В кинематографической отрасли она может ускорить и упростить дубляж фильмов. В сфере образования новый инструмент может значительно упростить онлайн-обучение, сделав онлайн-курс доступным на 20 языках без субтитров и перезаписи.
В то же время сервис может привести к созданию дипфейков. Google опасается, что подобный инструмент заинтересует злоумышленников, которые с его помощью захотят фальсифицировать публичные выступления политиков.
Чтобы предотвратить неправомерное использование, сервис сделали доступным только для авторизованных партнеров. Компания также намерена использовать водяные знаки, которые дадут понять зрителю, что видео сгенерировано ИИ.