Исследователи из Корнельского университета изобрели наушники, которые могут непрерывно отслеживать выражение лица, даже если оно закрыто маской. Устройство под названием C-Face отслеживает контур щек, а затем переводит выражение лица в смайлики или речевые команды.
Используя устройство C-Face, пользователи могут выражать эмоции онлайн, не держа камеры перед лицом. Это выглядит полезным инструментом для общения, особенно во время того, как множество работников заняты удаленной работой или обучением из-за продолжающейся пандемии COVID-19.
Ченг Чжан, доцент кафедры информатики и старший автор исследования, сказал, что «это устройство проще, менее навязчиво и более эффективно, чем любые существующие технологии для отслеживания мимики».
Поскольку устройство работает, отслеживая движение мышц, C-Face может улавливать выражения лица, даже когда пользователи носят маски. Его также можно использовать для управления компьютерной системой, например музыкальным проигрывателем, просто используя только лицевые сигналы.
Используя устройство, аватары в средах виртуальной реальности могут выражать то, что на самом деле чувствуют их пользователи, а инструкторы также могут получать ценную информацию о взаимодействии студентов во время онлайн-уроков.
Что касается его работы, после захвата изображений они восстанавливаются с использованием компьютерного зрения и модели глубокого обучения. Затем сверточная нейронная сеть — модель ИИ, обнаруживает и создает эмоциональное выражение, преобразуя контуры лица.
Устройство переводит положение щек в 42 точки или ориентиры на лице, которые представляют форму и положение рта, глаз и бровей, поскольку эти части больше всего подвержены изменениям выражения.
Исследователи протестировали устройство C-Face на девяти участниках, и средняя ошибка реконструированных ориентиров составила менее 0,8 мм. Они также обнаружили, что распознавание эмоций было успешно более чем на 88 процентов, а беззвучная речь — почти на 85 процентов.
А наш сервисный центр NOVA ремонтрует ноутбуки, нетбуки и планшеты (Samsung, Sony, Xiaomi, Lenovo, LG, DNS, DEXP, Asus, Acer и других производителей). Ждем вас в наших офисах в Иркутске:
Иркутск, ул. Вампилова, 2/3 (мкр. Первомайский)
Иркутск, ул. Севастопольская, 4
Иркутск, ул. Советская, 79
Или звоните по телефону 8 (3952) 48-44-40 в Иркутске!
