Искусственный интеллект обучился распознавать игру на фортепиано, воссоздавая музыку из беззвучной видеозаписи рук пианиста. Для человеческого мозга такая задача, скорее всего, непосильна. Ведь даже чтение музыки с нотного листа — уже не самое простое дело.
Для воссоздания музыки из движений рук была создана система Audeo. Она работает на базе искусственного интеллекта и использует принцип самообучения. Для обучения использовали видеоматериалы с исполнением классики пианистом Полом Бартоном (Paul Barton).
Всего для доводки системы потребовалось около 172 000 кадров видео. В результате команде создателей Audeo из Вашингтонского университета под руководством ассистента профессора Эли Шлизерман (Eli Shlizerman) удалось добиться довольно точной интерпретации живого исполнения. Приложения для распознавания идентифицировали «расшифрованную» таким образом мелодию в 86% случаев, в то время как «прямая» аудиозапись дает показатель в 93%. Оценить работу алгоритма можно на сайте университета Вашингтона.
Программа способна распознавать длительность и даже силу нажатия клавиш (правда, в фортепиано есть еще и педали, об учете которых ничего не сказано). Авторы системы заявили, что Audeo пригодится во многих случаях. Например, система позволит улучшить технику игры для начинающих музыкантов.