Искусственный интеллект научился воссоздавать игру на фортепиано по видео без звука
Раньше это считалось невозможным. Что дальше?
Ученые Вашингтонского университета разработали программное обеспечение с искусственным интеллектом Audeo, которое по видео без звука умеет воссоздавать фортепианные концерты.
Искусственный интеллект фиксирует какие клавиши и в каком порядке нажимает пианист, считывает время нажатия (так возникает ритм), а заодно распознает силу, которую применяет музыкант (это влияет на громкость звучания отдельных звуков и формирует характер мелодии).
Нейросеть обучалась на видеороликах пианиста Пола Бартона, играющего преимущественно Моцарта и Баха.
Одна из главных авторов исследования Эли Шлизерман считает проект прорывным.
«Чтобы «представить» звук, которого добивается человек на видео, технологии требуется быть одновременно и точной, и творческой», — заявила она.
- Автор: Лариса Стебенева
