Искусственный интеллект научился воссоздавать игру на фортепиано по видео без звука

09.02.2021

Раньше это считалось невозможным. Что дальше?

Искусственный интеллект научился воссоздавать игру на фортепиано по видео без звука

Фото unsplash.com

Ученые Вашингтонского университета разработали программное обеспечение с искусственным интеллектом Audeo, которое по видео без звука умеет воссоздавать фортепианные концерты.

Искусственный интеллект фиксирует какие клавиши и в каком порядке нажимает пианист, считывает время нажатия (так возникает ритм), а заодно распознает силу, которую применяет музыкант (это влияет на громкость звучания отдельных звуков и формирует характер мелодии).

Нейросеть обучалась на видеороликах пианиста Пола Бартона, играющего преимущественно Моцарта и Баха.

Чтобы проверить точность восстановленных мелодий ученые «зашазамили» их в Shazam и SoundHound. Приложения распознали музыку в 86% случаев! Даже оригинальные аудио-дорожки с видео Пола Бартона приложения распознали на 7% меньше.

Одна из главных авторов исследования Эли Шлизерман считает проект прорывным.

«Чтобы «представить» звук, которого добивается человек на видео, технологии требуется быть одновременно и точной, и творческой», — заявила она.

Рекомендуем