Нейросеть обучили распознаванию лжи и других эмоций

Разработка создана российской компанией Neurodata Lab, которая с нуля подготовила как базу данных для обучения нейросетей, так и технологию оценки эмоций людей на основе установленных параметров, сообщают «Известия». На первой стадии были сняты 6 часов видео, в котором 10 профессиональных актёров (у них в процессе фиксировались дыхание пульс) изображали под запись нейтральное настроение, радость, удивление, злость, грусть, страх и отвращение. Затем полученные кадры изучили аннотаторы, которые указали наблюдаемые в конкретные моменты эмоции.

Следующим шагом стал отбор 160 часов видео, на которых запечатлены общающиеся в разной обстановке люди. С помощью тысяч аннотаторов со всего мира удалось выделить 20 эмоций. Специально под эту задачу разработали платформу Emotion Miner, которая продолжает работу и позволяет анализировать видео.

Собранные данные легли в основу методик по обучению нейросетей распознаванию человеческих эмоций. Алгоритмы обращают внимание на голос (высоту тона, тембр, громкость, паузы в речи), эмоциональную окраску и семантику текста, мимику лица, скорость и направление движений тела и положение отдельных конечностей, частоту сердечных сокращений на основе изменений цвета кожи, дыхание по движению грудной клетки, а также пол, возраст персоны и наличие у неё на лице очков, усов, бороды.

«Мы объединили сверточные и реккурентные нейросети и в результате получили мультимодальную архитектуру, которая одновременно могла бы анализировать аудио, видео, движения тела и физиологические параметры. Точность распознавания эмоций нейросетью сильно возросла», — заявил «Известиям» технический директор Neurodata Lab Андрей Беляев.

Разработка, которая уже готова к использованию, может помочь в отраслях бизнеса, рекламы, сферах безопасности и медицины, а также других видах деятельности, где важно правильно понимать поведение человека и его эмоции.