Еще в 2014 году британская артистка Имоджен Хип совместно с университетом Западной Англии разработала музыкальные перчатки Mi.Mu, которые преобразовывают жесты в музыку.
Специальная система отслеживает положение рук и пальцев и переводит эти данные в сигналы для управления различными инструментами. Поначалу такими перчатками пользовалась только сама Имоджен, но вскоре устройство завоевало популярность среди различных исполнителей.
Комплект из ПО и самих перчаток стоит немало — 2 500 британских фунтов. Но теперь ПО под названием Glover можно приобрести отдельно всего за 119 фунтов. Правда, к нему в любом случае потребуется какой-нибудь интерфейс, способный улавливать движения, однако платформа поддерживает разработки сторонних компаний — оптические модули Leap Motion и микроконтроллеры micro:bit.
Есть даже бесплатная программа Gliss для смартфонов, созданная именно для отслеживания движений во время работы с Glover — пока что она доступна только на iPhone, но в скором времени появится и на Android.
В Glover можно назначить определенное движение на конкретное действие в подключенных MIDI- и OSC-контроллерах. Причем в приложении нет никаких ограничений по жестам — они не берутся из строго настроенных библиотек. Пользователи могут придумать собственный «язык жестов для музыки», используя абсолютно любые движения, которые распознает интерфейс. Для правильного распознавания используется алгоритм машинного обучения.
У Glover есть бесплатный 2-недельный пробный период. ПО работает на Windows и MacOS.