Jump to content

Учёные MIT научили ИИ различать музыкальные инструменты на видео


Recommended Posts

Исследователям Массачусетского технологического института удалось построить нейросеть, способную различать звуки отдельных музыкальных инструментов на видео. Искусственный интеллект под названием PixelPlayer даже может сделать отдельные источники звука громче или тише.

 

chrome_2018-07-06_19-41-48 copy.png


«Мы рассчитывали, что в лучшем случае сможем указать, какие звуки производит отдельный инструмент. Удивительно, что мы смогли обнаружить инструменты в пространстве на уровне пикселей. Эта способность открывает множество возможностей, например, редактирование аудиодорожки с помощью клика по видео», — заявил один из авторов ИИ.

В основе PixelPlayer лежит нейронная сеть, освоившая 714 видеороликов YouTube, входящих в набор данных под названием «Многомодальные источники комбинаций инструментов» (Multimodal Sources of Instrument Combinations, “MUSIC”). Первые пятьсот видеороликов длиной в 60 часов нейросеть обучалась, остальное время учёные использовали для проверки результатов.

 

under_musical_instrument_music_instruments_stringed_instrument_ropes_wood_low_electric-1363540 copy.jpg


PixelPlayer работает самостоятельно, программа может разделить звуки более чем двадцати инструментов, и пользователю не нужно готовить какие-либо заметки. Учёные уверены, что получив больше данных, ИИ научится различать и больше наименований, но пока что им трудно настроить неочевидные различия между классами музыкальных инструментов.

«Мы рассчитываем, что работа поможет раскрыть новые области исследования проблемы разделения источника звука с помощью визуальных и аудиосигналов», — отметили исследователи.

____________________________________________________________
♦♦♦♦♦♦♦♦◄♫►WeissRussland◄♫►♦♦♦♦♦♦◄♠GRODNO♠►♦♦♦♦♦♦♦♦
---------------------------------------------------------------------------------------------------------
♠ 75.0°e ♣ 53.0°e ♦ 36.0°e ♥ 19.2°e ♠ 13.0°e ♥ 4.8°e ♠ 4.0°w ♣ 5.0°w ♦
____________________________________________________________

Link to comment
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
×
×
  • Create New...