Сообщество предприимчивых пианистов из США The Piano Guys заключило партнерство с разработчиками из компании Massive Technologies. Вместе они создали приложение дополненной реальности AR Pianist для iOS и Android, способное усадить за любое пианино виртуального исполнителя. На эту роль был выбран один из «Пианистов» — Джон Шмидт (Jon Schmidt).
Для начала работы приложения нужно просто направить камеру мобильного устройства на клавиатуру фортепиано (желателен 88-клавишный инструмент). Затем приложение «синхронизируется» с клавиатурой и усадит за нее виртуального Джона Шмидта, который будет играть Бетховена «Für Elise». Для этого в Massive Technologies создали его пространственный аватар.
Остальные произведения из растущей библиотеки AR Pianist тоже исполняет аватар, но это скорее собирательный образ пианиста. Приложение позволяет получать реалистичную картинку с меняющихся углов обзора, а значит — можно подробно рассмотреть и проанализировать технику игры. При желании движения пианиста и музыку можно замедлить до 1% от нормальной скорости.
Параллельно приложение способно показывать звучащие ноты. Правда, клавиши у реального пианино остаются неподвижными, что снижает визуальный эффект. Да и сама музыка воспроизводится не пианино, а динамиком смартфона. Это преодолимо на акустическом фортепиано с MIDI-интерфейсом. Также система может музицировать по MIDI с любым совместимым устройством.
Если же нет ни устройства, ни даже пианино — не беда. «В этом случае приложение распознает свободное пространство пола или столешницу и предоставит подробную трехмерную модель концертного рояля Yamaha C7 Neo, изображенного на многих записях и обложках альбомов The Piano Guys», — пояснил Крейг Кнудсен (Craig Knudsen), менеджер по видеопроизводству и официальный «технолог» The Piano Guys. В планах на будущее — поддержка AR Pianist гарнитурами дополненной реальности вроде Oculus Quest.
AR Pianist можно использовать бесплатно. Еженедельная подписка стоимостью 3 доллара США или годовая за 60 долларов даст полный доступ к растущей библиотеке исполняемых AR Pianist произведений.