Method for detecting human stress state for video surveillance systems

Full Text

Введение

В связи с участившимися проявлениями агрессии и террористической угрозой, проблема объективной прогнозирования поведения человека, связанного с оценкой его психологического состояния человека, относится к числу наиболее актуальных. Напряженное состояние понимается как совокупность деятельностных состояний организма, характеризующихся повышением уровня функционирования систем по сравнению с состоянием покоя [1]. Чтобы напряженное состояние не приняло крайние формы, необходима своевременная диагностика.

Для диагностики напряженного состояния используется ряд физиологических, психофизиологических и биохимических показателей. Например, Алпатов А. В. и др. используют метод флуктуационного анализа ЭЭГ в задачах контроля напряженных состояний человека-оператора [2]. Юматов Е. А. и др. [3] разработали метод выявления напряжения/стресса, основанного на регистрации вегетативных показателей человека и на расчете кросскорреляционных коэффициентов. Также разработано специальное портативное устройство. Однако при использовании данного метода нельзя определить причину напряженного состояния, возможно определить только его величину. Чо и др. предложили перспективный подход к распознаванию напряженного состояния/стресса с помощью тепловизионной камеры [4].

Также идентификация психоэмоционального состояния человека возможна по мимике, анализу звуковых волн [5], виброизображению [6]. Однако определение эмоционального состояния по мимике может быть недостоверным, поскольку человек может подделать «нужное» выражение лица. Анализ звуковых волн не будет работать, если человек молчит. Идентификация по виброизображению не регистрирует малые изменения в психофизическом состоянии. Для дистанционной диагностики психологического состояния искусственным интеллектом из вышеперечисленных подходит только наблюдение за мимикой, анализ звуковых волн и виброизображение. Таким образом, остается актуальным совершенствование дистанционного метода определения напряженного состояния. При этом если научиться выявлять напряженное/стрессовое состояние по изменениям размеров зрачков, то станет возможным прогнозировать поведение людей.

Цель работы – разработать методику выявления напряженного состояния человека системами видеонаблюдения.

Задачи:

1. Провести эксперименты по выявлению напряженного состояния двумя методами: с помощью пупиллографического модуля и регистрации изменений КГР.
2. Сравнить полученные результаты, проверить наличие корреляции между изменением размеров зрачков и КГР.

Методика выявления напряженного состояния

Техника проведения эксперимента

Измерение психоэмоционального состояния проводили с помощью активациометра, регистрирующего кожно-гальваническоую реакцию (КГР). Использовалась стандартная методика [7].

 

Рисунок 1 – Процедура диагностики на приборе модели «АЦ-6»

 

После данной процедуры с помощью оптоэлектронной системы (рис. 2) производится видеосъемка реакции зрачка.

 

Рисунок 2 – Пупиллографический модуль регистрации изменений размеров зрачка

 

Пупиллографический модуль состоит из видеокамеры и специального шлема. Использовалась цифровая видеокамера ZWO ASI 120MC-S со скоростью видеосъемки 30 кадр/с на основе цветной матрицы AR0130CS с размерами пикселя 3,75 x 3,75 мкм и рабочей областью 4,8 х 3,6 мм. Разрядность АЦП составляет 12 бит (4096 уровней). Матрица камеры защищена встроенным фильтром, который отсекает инфракрасную часть спектра.

Процедура видеосъемки оптоэлектронной системой начинается с того, что испытуемый садится на стул, на него надевается специальный шлем, создающий жесткую координатную связь головы и видеокамеры. Затем испытуемый смотрит на экран телевизора (расположен на стене), с которого демонстрируется стимульный материал. При этом расстояние от стула до стены составляет не менее двух метров. Так как все испытуемые имеют разные физиологические особенности, необходимо корректировать угол наклона видеокамеры в соответствии с каждым человеком. Процедура видеосъёмки зрачка длится не более 10 минут.

Испытуемым было предложено посмотреть презентацию, состоящую из 13 калибровочных слайдов и 11 стимульных материалов (изображений). На последнем слайде презентации было представлено фото молодого человека. Данный молодой человек до проведения эксперимента (за несколько дней или часов) заходил во время учебного процесса в кабинет к студентам (преподаватель в это время отсутствовал в кабинете), с целью исправить оценку в журнале преподавателя (данное действие было заранее согласовано с преподавателем).

Эксперимент проводили с согласия участников. Всего приняло участие 50 человек в возрасте от 17 до 35 лет. Присутствовали представители мужского и женского пола, представители разных национальностей. Все испытуемые не имели болезней глаз или же зрение было скорректировано (очки, линзы).

Обработка и анализ полученных данных

Проблема точного выделения зрачка связана с оконтуриванием. Во многих случаях очень важно выделить зрачок, отследить его размеры и трек. Для оконтуривания зрачков существуют различные методы. Можно назвать морфологическое выделение круга, проекции яркости или ее градиента, построение оптимального контура. Мы для препарирования изображений, обработки и оконтуривания зрачков используем программу FiJi. Процесс обработки представлен на рис. 3.

 

Рисунок 3 – Процесс оконтуривания зрачка

 

Визуализация результатов была проведена в программе OriginLab20.

Сравнение результатов, полученных двумя методами

На всех участников эксперимента воздействовали одинаковым визуально-информационным стимулом. Участники эксперимента были поделены на две категории. Люди из первой категории присутствовали в кабинете и наблюдали за тем, как молодой человек пытается исправить оценку в журнале преподавателя. Люди из второй категории (контрольная группа) не присутствовали на паре, то есть они ничего не видели. Таких студентов было 5. Мы предположили, так как студенты скрывали от преподавателя факт попытки внесения исправлений в журнал, то они должны были находиться в напряженном состоянии. Напряженными считаются моменты, наполненные стресс-факторами, когда оказываются важными последствия очередности событий [1].

Подтверждением того, что человек находится в напряженном состоянии, является превышение ситуативного показателя над индивидуально-типологическим сверх нормы. В отличие от индивидуально-типологического показателя психического состояния ситуативный показатель отражает психическое состояние человека в конкретной ситуации. На рис. 4 отмечены два уровня психоэмоционального состояния, соответствующие стандартизированным показателям по диагностической шкале психоэмоциональных состояний [7]: красная линия – уровень «чрезмерно», желтая линия – уровень «выше среднего».

 

Рисунок 4 – Статистика измерений кожно-гальванической реакции

 

Однако студенты могли испытывать волнение из-за самой процедуры измерения из-за чего показатели их психоэмоционального состояния могли находится на одном из этих уровней. Поэтому необходимо измерить величину воздействия именно стимульного материала (фото молодого человека, который пытался внести изменения в журнал преподавателя) на испытуемого. В связи с этим измерения ситуативного показателя психического состояния проводили до и после воздействия стимульного материала. Для дополнительного подтверждения результатов после проведения эксперимента участникам задавался вопрос: «Встречали ли Вы когда-нибудь этого человека?». При этом испытуемый прижимал пластинчатые электроды прибора «Активациометр», что позволяло измерять КГР непосредственно в ходе осмысления заданного вопроса и спустя несколько секунд после него. Отсутствие реакции должно означать, что испытуемый говорит правду; в то время как наличие реакции означает, что он утаивает информацию.

Общее эмоциональное состояние всех участников эксперимента можно оценить по усредненному значению индивидуальных ситуативных показателей испытуемых. Проверка гипотезы, что значение ситуативного показателя после воздействия стимульного материала превышает значение ситуативного показателя до воздействия стимульного материала, производилась с помощью сравнительного анализа результатов измерений. Сравнительный анализ проведенных измерений до (1) и после (2) воздействия стимулов представлен в таблице 1.

 

Таблица 1 – Сравнение средних значений ситуативных показателей

Описательная статистика
VAR	N	Среднее		Среднеквадратичное отклонение	Дисперсия	Минимум		Максимум
24.4 (1)	43	19,9814		8,5131	72,4735	3,8		43,
22 (2)	43	16,8233		7,016	49,2237	3,2		33,4
Отчет о средних значениях ситуативных показателей
VAR				Среднее	99.9 % LCL		99.9 % UCL
24.4 (1)				19,9814	15,3885		24,5742
22 (2)				16,8233	13,0381		20,6084
Средняя разница (1-2)				3,1581	0,5552		5,7611
Парный двухвыборочный t-тест
Предполагаемая средняя разница					0,
Средняя разница					3,1581
Дисперсия					60,8486
Пирсон R					0,8239
Статистика теста					4,2924
Степени свободы					42
H1: Mu1 – Mu2 ≠ 0 / Не равно (двусторонний)
t критическое значение (0,1 %)			3,5377	p-значение	0,0001	H1 (0.1 %)			Принято
H1: Mu1 – Mu2 <0 / меньше (нижний хвост)
t критическое значение (0,1 %)			-3,296	p-значение	0,9999	H1 (0.1 %)			Отклонено
H1: Mu1 – Mu2> 0 / Больше чем (верхний хвост)
t критическое значение (0,1 %)			3,296	p-значение	5,0954E-5	H1 (0.1 %)			Принято

 

Оказалось, что среднее значение ситуативного показателя уменьшилось. Логично предположить, что у большинства испытуемых напряженное состояние сверх нормы было обусловлено процедурой измерения, а не воздействием стимульного материала.

Однако у 15 % испытуемых ситуативный показатель (напряженное состояние) увеличился. Именно на этих студентов стимульный материал подействовал.

В качестве примера на рис. 5 представлены пупиллограммы двух студентов. Были взяты данные именно этих студентов, поскольку у одного из них присутствовала явная эмоциональная реакция, а у другого она была слабой.

 

Рисунок 5 – а) Пупиллограмма и КГР с сильным эмоциональным откликом; б) Пупиллограмма и КГР со слабым эмоциональным откликом

 

Значения напряженного состояния представлены в таблице 2.

 

Таблица 2 – Показатели напряженного состояния для студентов № 1 и № 2 до воздействия стимулов

До воздействия стимулов
№1	14	13	12	13	14	13	12	11	12	12
№2	22	22	24	18	18	18	18	18	17	16
После воздействия стимулов
№1	16	16	16	14	14	15	14	15	14	15
№2	8	8	8	8	8	8	8	8	8	8

 

Напряженное состояние студента № 1 (рис. 4а) увеличивалось в процессе воздействия стимулов (в среднем с 12 до 15). Устный опрос подтвердил, что студент № 1 узнал на фото человека, совершающего попытку исправить оценку. Кроме того, он указал слайды, просмотр которых вызвал у него эмоциональный отклик.

Напряженное состояние студента № 2 (рис. 4б) не увеличивалось, а уменьшалось (в среднем с 19 до 8). В процессе опроса студент № 2 сказал, что не испытывал никаких эмоций, человека на фото никогда не видел. В его пупиллограмме (рис. 4б) изменение размеров зрачковой реакции не выходит за пределы серой зоны.

Важным шагом является проверка наличия корреляционной связи между напряженным состоянием, измеряемым КГР и напряженным состоянием, измеряемым методом пупиллографии. После корреляционного анализа, мы получили, что между изменением размеров зрачка и кожно-гальванической реакцией существует значительная корреляция (р=0,88). Полученные результаты позволяют связать кожно-гальваническую реакцию и реакцию зрачков в ответ на стимульный материал. При этом корреляция между размерами зрачка и КГР сильно снижается, если стимульный материал не вызывает никакого отклика (таблица 3).

 

Таблица 3 – r-Спирмена

VAR vs. VAR	N	Rho	t	p-значение
Δ(S/Smed)max vs.| Δt	28	-0.2262	-1.1839	0.2472
Δ(S/Smed)max vs. |Δ КГР	29	-0.1636	-0.8617	0.3965
Δt vs.| Δ КГР	28	-0.0474	-0.2422	0.8105

 

Таким образом, если эмоциональная реакция отсутствует, то КГР не коррелирует с изменением размеров зрачков. Однако если эмоциональный отклик будет, то напряженное состояние будет выявлено и посредство КГР и посредством пупиллографии.

Основные выводы

Проведены эксперименты по определению напряженного состояния двумя методами: измерение кожно-гальванической реакции с помощью «Активациометр-6» и измерение методом пупиллографии. Полученные результаты сравнивались:

Кожно-гальваническая реакция и изменение размеров зрачков коррелирует (p=0,88), при условии наличия эмоции.

Разность измерений на приборе «Активациометр-6» до и после воздействия стимулов, является показателем напряженного состояния. Результаты, полученные пупиллографическим методом, согласуются с результатами измерений КГР:

Пупиллограммы людей, уровень психоэмоционального состояния которых после воздействия стимулов увеличился, содержали эмоционально окрашенные участки;

В пупиллограммцах людей из контрольной группы увеличения амплитуды за пределы калибровочной зоны отсутствовало. То есть напряженное состояние не регистрировалось ни пуплографическим модулем, ни «Активациометром-6».

Таким образом, пупиллограммы могут стать бесконтактным средством измерения напряженного состояния. Так как КГР и размер зрачков коррелируют, то зрачковую реакцию можно использовать в системах безопасности, в которых наблюдение должно быть ненавязчивым (скрытым).

About the authors

Oksana L. Isaeva

Yugra State University

Author for correspondence.
Email: isoksi06@gmail.com

Student of the Higher School of Engineering for the Institute of Oil and Gas

Russian Federation, Khanty-Mansiysk

Regina R. Klyuchnikova

Yugra State University

Email: gabdrakhimova_regina@mail.ru

Master Student of the Higher School of Engineering for the Institute of Oil and Gas

Russian Federation, Khanty-Mansiysk

References

Supplementary files