Китайцы научили нейросеть превращать речь в пение на основе голосов живых людей

[zvuk_media]

Фото: rawpixel.com/freepik.com



Искусственный интеллект имеет все шансы стать полноправным участником шоу-бизнеса. Инженеры компании Tencent под руководством Дуна Юя (Dong Yu) создали алгоритм, способный генерировать человеческую речь в пение и наоборот.

Чтобы обучить нейросеть пению, китайским разработчикам пришлось обратиться к своей предыдущей технологии DuarIAN, которая умеет синтезировать реалистичные видеоролики на основе речи. Заменив несколько блок-схем, куда загружались изображения, научные сотрудники закачали туда полтора часа пения и 28 часов речи.

После обработки усовершенствованный алгоритм научился создавать акустические композиции или монологи. На один аудиофайл машина тратила не более 20 секунд. Эффективность искусственного интеллекта инженеры проверили на 14 добровольцах, которые оценили нейросеть почти на четыре балла из пяти по правдоподобности звучания.



Автор: Анна Аксенова

Подпишитесь на наш блог 🎵

Читайте другие материалы в медиа Звук:

Рокеры, посторонитесь: нейросеть записала альбом в стиле блэк-метал

Фанат «Короля и Шута» добавил голос «Горшка» в песню из «Ведьмака» при помощи нейросетей