Нейросеть научили распознавать отдельные музыкальные инструменты и вытягивать его звук
Разработчики из MIT написали искусственный интеллект PixelPlayer, который может находить нужный музыкальный инструмент на видео и вытягивать его звучание, если он играет тише остальных.
Нейросеть предлагает пользователю просто выбрать один из инструментов, звучащих в ролике, и сделать его громче за несколько нажатий мышкой.
PixelPlayer состоит из трех слоев - первый анализирует графические элементы видео, другой - анализирует аудиодорожку, третий - сопоставляет кадры и звук и понимает, какой из инструментов звучит тише необходимого.
Click to viewДля обучения искусственного интеллекта MIT предложили 714 видеозаписей с сольными или оркестровыми выступлениями музыкантов общей длительностью более 60 часов. В них были представлены 11 типов инструментов - аккордеон, акустическая гитара, виолончель, кларнет, эрху, флейта, саксофон, труба, туба, скрипка и ксилофон.