Учёные MIT научили ИИ различать музыкальные инструменты на видео

[Ippolitovich]

Исследователям Массачусетского технологического института удалось построить нейросеть, способную различать звуки отдельных музыкальных инструментов на видео. Искусственный интеллект под названием PixelPlayer даже может сделать отдельные источники звука громче или тише.

 

«Мы рассчитывали, что в лучшем случае сможем указать, какие звуки производит отдельный инструмент. Удивительно, что мы смогли обнаружить инструменты в пространстве на уровне пикселей. Эта способность открывает множество возможностей, например, редактирование аудиодорожки с помощью клика по видео», — заявил один из авторов ИИ.

В основе PixelPlayer лежит нейронная сеть, освоившая 714 видеороликов YouTube, входящих в набор данных под названием «Многомодальные источники комбинаций инструментов» (Multimodal Sources of Instrument Combinations, “MUSIC”). Первые пятьсот видеороликов длиной в 60 часов нейросеть обучалась, остальное время учёные использовали для проверки результатов.

 

PixelPlayer работает самостоятельно, программа может разделить звуки более чем двадцати инструментов, и пользователю не нужно готовить какие-либо заметки. Учёные уверены, что получив больше данных, ИИ научится различать и больше наименований, но пока что им трудно настроить неочевидные различия между классами музыкальных инструментов.

«Мы рассчитываем, что работа поможет раскрыть новые области исследования проблемы разделения источника звука с помощью визуальных и аудиосигналов», — отметили исследователи.