Исследователи из университета Корнелл внедрили в полноразмерные наушники систему, которая может определять выражения лица носящего эти наушники человека — и маски такой системе не помеха.

Алгоритм считывает движения контуров щек и интерпретирует их в формате эмодзи. С таким устройством, например, можно использовать некий анимированный аватар в групповых звонках вместо изображения с веб-камеры.

По словам разработчиков, такое устройство намного менее громоздкое, чем аналогичные разработки, и дает более качественный результат. «Ранее в большинстве устройств, призванных считывать эмоции, требовалось крепить датчики к самому лицу, и все равно они могли определять только определенное число конкретных выражений лиц», — сообщил глава группы исследователей Чен Цзян (Cheng Zhang).

В наушниках установлены две RGB-камеры, они находятся под каждым ухом. Они как раз определяют изменения в контурах щек, когда движутся мышцы. После реконструкции изображения с использованием машинного обучения нейронная сеть анализирует полученную двухмерную картинку, выделяя 42 лицевые точки, описывающие положение рта, глаз и бровей.

Затем система сопоставляет полученные данные с эмодзи, в том числе и теми, которые выражают нейтральные или негативные эмоции. По словам разработчиков, технологию можно также использовать для управления воспроизведением музыки, создания аватаров с отображением эмоций в режиме реального времени, а также внедрять при обучении, чтобы следить за тем, насколько студенты вовлечены в процесс.

Правда, из-за пандемии, к сожалению, исследователи смогли протестировать разработку только на девяти добровольцах — но она точно распознала эмоции и перевела их в эмодзи в 88% случаев. Как выяснилось, работоспособность системы сильно снижает батарея используемых для тестового образца наушников — поэтому разработчики планируют сделать технологию более энергоэффективной.