Experimental methods of pupillographic analysis based on high-speed video recording devices

Full Text

Введение

Перспективы применения искусственного интеллекта в видеоаналитике становятся все более неоспоримыми. Исследователи активно работают над методами принятия решений, принимаемых на основании результатов автоматизированного анализа последовательности изображений, поступающих с видеокамер. Также ведется разработка средств, обеспечивающих оптимизацию взаимодействия человека и техники. Стремление научить понимать машину, что чувствует или хочет человек, ставит задачу моделирования реакции человека, в зависимости от условий, в которых он находится. Самым сложным является поиск паттернов, которые искусственный интеллект сможет распознавать или имитировать.

Алгоритмы видеоаналитики чаще всего используются в видеонаблюдении и других сферах безопасности. В таких системах обычно ведется поиск определенной личности [1], наркоманов [2], непосредственно совершающих противоправные действия. Разрабатываются методы, направленные на заблаговременное выявление опасных личностей. Известно, что внешние признаки эмоциональных состояний и форм поведения можно рассматривать как характеристики профиля потенциально опасных людей [3]. Одним из наиболее характерных признаков нештатных террористов — наличие сильной тревоги, попытках обмана и манипуляции [3]. При обязательном учете и других признаков, наличие стрессового (напряженного) состояния является одним из основных показателей, который можно применять для выявления опасных личностей. В стрессовом состоянии эмоциональная реакция человека отличается от обычной [4]. Babiker A. et al. [5] разработали метод обучающей машины для обнаружения и отличия положительных и отрицательных эмоций (a learning machine technique to detect and differentiate between positive and negative emotions.) на основании изменения диаметра зрачка в ответ на звуковые сигналы. Однако, данный метод не позволит указать причину эмоционального возбуждения при использовании в реальных условиях, так невозможно подтвердить наличие причинно-следственной связи.

Человек, особенно обученный, хорошо умеет скрывать свои эмоции и намерения. Поэтому принятие решений о злых намерениях не должно основываться только на присутствии улыбки на лице или отсутствии таковой. Поэтому актуально выявление паттернов, которые можно использовать для прогнозирования поведения человека и создания соответствующих алгоритмов.

Для выявления лжи и прогноза возможных действий обычно используют полиграф. Один из измеряемых параметров на полиграфе это кожно-гальваническая реакция (КГР). Zhang T. et al. [6] создали алгоритм, который извлекает основанные на корреляции признаки (диаметр зрачка и проводимость кожи). Так как КГР и размер зрачков коррелируют, то зрачковую реакцию можно использовать в системах безопасности, в которых наблюдение должно быть ненавязчивым (скрытым). Вероятность успеха увеличивают работы по повышению точности локализации и оконтуривания зрачка. Khan W. et al. [7] предлагают метод грубой и тонкой локализации зрачка, использующего комбинацию алгоритмов машинного обучения и обработки изображений. Предложенный метод превосходит предыдущие работы с точки зрения точности и надежности при бенчмаркинге на нескольких стандартных наборах данных.

Цель работы: разработать методику принятия решений на основе моделирования зрачковой реакции человека на информационный раздражитель. Для этого мы решаем следующие задачи:

1. Разработать методику систематизации пупиллограмм.
2. Построить модели зрачковых реакций, которые будут соответствовать определенной категории пупиллограмм.
3. Построить дерево принятия решений с применением разработанной методики.

Методы и техника эксперимента

Использование в системах безопасности пупиллографии и айтрекинга приводят к необходимости анализировать большой объем информации. Входными данными является последовательность изображений зрачков, по сути набор окружностей разных размеров. Чтобы производить анализ зрачковой реакции и делать какие-то выводы о психофизическом состоянии человека, нужно систематизировать эти входные данные.

Для получения пупиллограмм использовали цифровую видеокамеру ZWO ASI120MC (30 fps, объектив с оптическим увеличением 1X-100X), шлем, с помощью которого создается жесткая координатная связь с видеокамерой. Основой шлема является каркас сварочной маски, обтянутый мягким материалом. Видеокамера крепится к плоскости, приваренной к полой алюминиевой трубке. Крепление позволяет корректировать наклон видеокамеры и направить объектив на зрачок глаза [8, 9]. Трубка пропускается через два отверстия в каркасе шлема. Величина отверстий регулируется, что позволяет зафиксировать положение трубки. Намеренный сдвиг трубки вдоль оси отверстий делает возможным регулировать расстояние между объективом и глазом. Это позволяет улучшить качество получаемых видеофайлов. Модуль для исследования пупиллограмм представлен на рисунке 1.

 

Рисунок 1 – Пупиллографический модуль для регистрации изменений размера зрачка

 

Жесткая связь видеокамеры с головой позволяет избежать искажений трека внимания и облегчает обработку изображений. Анализ полученных результатов осуществлялись в два этапа. Препарирование изображений, обработка и оконтуривание зрачков проводилось с помощью программы ImageJ. Визуализация результатов была проведена в программе Origin19.

Для эксперимента были приглашены добровольцы, всего приняло участие более 60 студентов (юношей и девушек различных национальностей). Все испытуемые не имели болезней глаз или же зрение было скорректировано (очки, линзы). Во время эксперимента участники по очереди располагались на стуле, шлем надевали на голову, с экрана монитора демонстрировали стимульный материал. Между человеком и монитором было расстояние, при котором изменение освещенности поверхности глаза, обусловленная свечением монитора, становится несущественным.

Испытуемым поочередно через равные промежутки времени предоставлялись изображения (тест-объекты), несущие заранее запланированную информацию, и калибровочные слайды. Ничего запрещенного не демонстрировалось. Для проведения экспериментов использовалась презентация, каждый слайд которой содержит один из стимулов (изображений) с наиболее вероятным эмоциональным откликом. Стимульные изображения выбирались на основании статистического анализа результатов социального опроса. Участники опроса оценивали величину эмоций, вызванных при просмотре предложенных изображений (тест-объектов). Соответственно результатам опроса по шкале от 0 до ±5 (самая сильная эмоция): слайды, содержащие изображение сколопендры, пауков вызывают эмоциональную реакцию с вероятностью р=0,42; изображение гробовых плит вызывает эмоцию с вероятностью р=0,64. Информация, содержащаяся на изображениях, несмотря на тривиальность, должна по-разному воздействовать на испытуемых. Некоторые боятся насекомых, некоторые к ним равнодушны и т. д. Поэтому реакция на стимульный материал ожидалась разной: от равнодушия до проявления страха (стресса, напряженного состояния). Перед испытанием каждого участника инструктировали, о требованиях к процедуре испытания и порядке ее прохождения. Также для каждого участника проводится регулировка кресла и экрана монитора, поскольку каждый человек имеет свои физиологические особенности. Общее время всей процедуры исследования занимает не более 5 минут, что не влияет на утомляемость респондента, но достаточно для отслеживания зрачковой реакции на информационный стимул [10]. После окончания эксперимента испытуемому предлагали оценить возникшее эмоциональное состояние при просмотре тест-объектов. Все участники после окончания эксперимента были довольны.

Модели данных

Прогнозирование поведения человека необходимо осуществлять методами, совместимыми с методами машинного обучения. Один из способов – это формализация эмпирических данных и представление их в виде математических моделей и алгоритмов.

Последовательно зарегистрированные пупиллограммы представляют собой сложную функцию чередующихся минимумов и максимумов. Зависимость размера зрачков от времени, в общем виде, можно представить вводя поправочные коэффициенты, учитывающие факторы, оказывающие основное влияние на изменение размеров – освещенность Ɛ(t), триадную реакцию [11] α(t) и испытываемую эмоцию (напряжение) или повышенное внимание Ψ(t) (1):

$S\left(t\right)=S\epsilon \left(t\right)\alpha \left(t\right)\Psi \left(t\right)$.  (1)

Для того, чтобы расшифровывать такие графики правильно, нужно знать, какой из пиков чем обусловлен. Так как стрессовое состояние характеризуется отличной от нормы эмоциональностью, то необходимо классифицировать пупиллограммы: содержащие эмоции и не содержащие.

Чтобы систематизировать пупиллограммы и находить в них участки эмоциональной реакции человека, нужно выбрать, относительно чего рассматривать изменение размеров зрачков. Широкий спектр внутренних и внешних причин, влияющих на зрачковую реакцию, не позволяет назвать конкретный диаметр зрачков, относительно которого нужно рассматривать все пупиллограммы. Даже среднестатистическое значение нельзя принять за точку отсчета. Однако при всем различии есть общий для всех физический принцип функционирования оптической системы глаза, которое позволяет сделать выбор. В связи с этим, на пупиллограммах участки концентрации внимания находятся ниже калибровочного уровня (индивидуально). Их можно считать волнами внимания и отнести их к процессу распознавания объектов человеком. Соответственно, после идентификации наблюдаемого объекта человек автоматически оценивает его уровень значимости, в результате чего возникает/не возникает эмоциональный отклик (напряженное состояние). Если эмоциональная реакция не возникает, то размеры зрачка продолжают флуктуировать вокруг калибровочного значения до поступления новой информации.

Модель М0 (калибровочная)

Для того чтобы иметь возможность сравнивать пупиллограммы разных людей нужно нормировать данные. Нормировка должна быть индивидуальна, и должна учитывать первоначальное психофизическое состояние человека. Этим требованиям отвечает состояние зрительной системы человека (при наблюдении калибровочных слайдов). Нормировка делает возможным сравнивать пупиллограммы разных людей. Для проверки данного факта были проведены эксперименты [12] по описанной выше методике. Предварительно данные подвергались очистке от артефактов, обусловленных морганием. Проверка данных на нормальность дала отрицательный результат (большая часть данных не подчиняются закону нормального распределения), несмотря на то что объемы выборок достаточно большие. Так как в данном случае исследовалась зрачковая реакция разных людей, было принято решение применять критерий Краскела-Уоллиса, иногда еще называемый непараметрическим дисперсионным анализом. Критерий Краскела-Уоллиса рассчитывается с использованием не фактических значений переменных, а их рангов, поэтому является методом выбора при сильно скошенных распределениях. Так же, как и дисперсионный анализ, критерий Краскела-Уоллиса позволяет выяснить, имеются ли различия между группами. По результатам статистического анализа установлено, что при просмотре калибровочных слайдов зрачковая реакция достоверно не отличается: the difference of the means is not significant at the 0.01 level (Таблица 1). Это является очень важным выводом, т. к. дает основание для построения трехуровневой модели зрачковой реакции. Пупиллограммы, отнесенные к этому уровню хорошо описываются Weibull peak function (2) и (3): 

$S=\frac{x-x_c}{w_1}+{\left(\frac{w_2-1}{w_2}\right)}^{\frac{1}{w_2}}$,  (2)

$y=\left\{\begin{array}{l}{y}_0,S\le 0;\\ y_0+A{\left(\frac{w_2-1}{w_2}\right)}^{\frac{1-w_2}{w_2}}{S}^{w_2-{1_e}^{-S{w}_2+\left(\frac{w_2-1}{w_2}\right)},}s>0.\end{array}\right.$. (3)

В работе Mortensen Uwe [13] рассматривается возможность применения распределения Weibull для определения психометрической функции. Интерпретация параметров модели активности нейронов, генерируемой стимулом, сложна. Поэтому функцию Weibull можно осмысленно использовать только в качестве приближения. Тем не менее, прослеживается связь психометрической функции с активностью зрительной системы. Таким образом, полученный результат позволяет систематизировать пупиллограммы и построить трехуровневую модель зрачковых реакций, которая обеспечивает сохранение индивидуального подхода.

Модель М1 (внимание) и Модель М2 (стресс/эмоция)

Как известно, даже в условиях отсутствия эмоций, при рассматривании деталей изображения центр внимания смещается. Это приводит к изменению размеров зрачков, в соответствии с угловыми размерами рассматриваемого объекта и испытываемыми эмоциями. На слайды с изображением высоты, вероятность даже слабого эмоционального отклика оказалась мала (р<0,1). Таким образом, согласно статистическому анализу, это изображение вызывает только внимание при рассматривании деталей. Поэтому эти изображения можно использовать при моделировании внимания в пупиллограммах без эмоций. Таким образом, слайды презентации включали изображения, на которые реакция наиболее вероятна. При просмотре калибровочных слайдов, полезная информация равна нулю, состояние зрачка, соответственно статистическому анализу (таблица 1) не отличается от калибровочного состояния. При просмотре изображений, не вызывающих эмоции, изменение размеров зрачков объясняется только аккомодацией и скольжением взгляда по рассматриваемому объекту (при прочих равных условиях). Если же при просмотре стимульного материала у человека появляются эмоции, значит информация была важной. Сильные эмоции приводят к превышению калибровочных значений относительного размера зрачков. Поэтому проверялась гипотеза H0: Выборка пупиллограмм респондентов, рассматривающих изображения, не вызывающих эмоционального отклика не отличается от выборок пупиллограмм респондентов, рассматривающих калибровочный слайд и не испытывающих эмоцию.

Зрачковая реакция на стимул, вызывающий эмоцию, должна быть другая. Поэтому проверялась еще одна гипотеза H0: Выборка пупиллограмм респондентов, рассматривающих изображения, которые с наибольшей вероятностью должны вызывать эмоциональный отклик, не отличается от выборок пупиллограмм респондентов, рассматривающих калибровочный слайд и слайд, не вызывающий эмоций.

Для связных выборок, проверка статистических гипотез осуществляется Friedman ANOVA. Таким образом, достоверно отличаются друг от друга зрачковые реакции на калибровочный слайд, на слайд, вызывающий эмоции и не вызывающий эмоциональной реакции.

Выбор метода статистического анализа основан на том, что сравниваемые пупиллограммы принадлежат одним и тем же людям, но относятся к разным тест-объектам. Поэтому выборки пупиллограмм относятся к зависимым группам. Для связных выборок, проверка статистических гипотез осуществляется Friedman ANOVA. Результаты показаны на рисунке 2а, в таблице 1.

 

Таблица 1 – Friedman Anova

Descriptive Statistics
	N			Min		Q1	Median		Q3	Max
«non-emotional stimulus 1»	103			0.838		0.879	0.918		0.940	1.005
«non-emotional stimulus 2»	103			0.882		0.900	0.916		0.935	1.081
«calibration»	103			0.901		0.966	1		1.041	1.112
Ranks
		N			Mean Rank			Sum Rank
«non-emotional stimulus 1»		103			1.665			171.5
«non-emotional stimulus 2»		103			1.519			156.5
«calibration»		103			2.816			290
Test Statistics
Chi-Square	DF		Prob>Chi-Square
103.84951	2		0

 

At the 0.01 level, the populations are significantly different. Это означает, что даже без эмоциональной реакции размеры зрачков отличаются от нормально расширенного состояния, что объясняется концентрацией взгляда на деталях изображения, то есть распознаванием предметов на изображении. Аппроксимация экспериментальных участка пупиллограммы, характеризуемый как «концентрация внимания» представлена на рисунке 2б.

 

Рисунок 2 – а) результаты сравнения зрачковой реакции на разные стимулы: б) аппроксимация экспериментальных участка пупиллограммы, характеризуемый как «концентрация внимания»

 

Подбор математической модели для участка пупиллограммы, характеризуемый как «концентрация внимания» показал, что Weibull3Pos лучше описывает экспериментальные данные, чем Gaussian. Модель М1 «концентрация внимания» также учитывает индивидуальные особенности человека.

В случае наличия эмоции подтверждено отличие зрачковой реакции, чем при безразличии. Одна и та же информация может быть значимой для одного индивида и не представляющей интерес для другого. Чем важнее информация, тем большую эмоцию она может вызвать. В процессе распознавания и осознания поступающей информации размеры зрачков изменяются в зависимости от величины испытываемых эмоций (пропорционально уровню значимости). Соответственно, после идентификации наблюдаемого тест-объекта каждый человек автоматически оценивает его уровень значимости для себя, в результате чего возникает/не возникает эмоциональный отклик. Если стимул несет важную информацию для индивида, то изменение размеров зрачков, обусловленное эмоцией, превосходит изменения, вносимые напряженными глазными мышцами. При возникновении устойчивой сильной эмоции (или напряженного состояния) на пупиллограммах наблюдается рост относительного значения размеров зрачка. На кривую эмоционального роста накладываются более мелкие – волны концентрации внимания. Понятно, что Weibull функция зависит от его параметров более гибким образом, чем распределение Гаусса. Однако в случае пупиллограммы, содержащей эмоциональные участки, функция не может быть адаптирована к данным. Различие зрачковой реакции приводит к тому, пупиллограмму с наличием stress/emotion лучше описывает функция Gaussian (рис. 3).

 

Рисунок 3 – Динамика зрачковой реакции на информационный стимул: серая область – калибровка; зеленая область – концентрация внимания; желтая область – стресс/эмоция

 

Очевидно, что модель находится в согласии с теорией [14]: при продолжительном воздействии различных факторов эмоции накапливаются. Так же и при проявлении слабых эмоций. Новая информация (несколько тест-объектов подряд), приводит к возрастающему психологическому напряжению, наблюдается кумулятивный эффект. В отличие от М0 и М1 математическая модель М2 лучше описывается Gaussian. Благодаря нормировке математическая модель также учитывает индивидуальные особенности человека.

На данном этапе исследований можно выделить три категории (уровня) пупиллограмм. Категория (уровень) 1 – это калибровочные пупиллограммы. Данная категория (уровень) описывает общее для всех людей состояние зрительной системы, характеризующееся индивидуальными особенностями каждого. Категория (уровень) 2 – область фокусировки внимания. Категория (уровень) 3 – это эмоциональное состояние/психологическое напряжение человека.

Уровневая модель зрачковой реакции и алгоритм принятия решений

Одной из задач современных систем безопасности является предупреждение противоправных действий. Также выявление напряженного состояния человека важно и в других областях. В предлагаемой методике принятие решения осуществляется на основе синхронизированных данных айтрекинга и пупиллограмм.

Как показано выше, выборки пупиллограмм, соответствующих уровням распознавания LR (или аккомодации, фокусировке на деталях изображения) и эмоциональной реакции LE (информация важна для индивида) достоверно отличаются. Следовательно, на любой пупиллограмме можно выделить от 1 до 4 зон (рис. 3). Таким образом, измерив ширину зоны пупиллограммы, соответствующей калибровочному L0 состоянию зрачков, и отметив ее на всей пупиллограмме (выполнить индивидуальную настройку пупиллографического модуля), становится возможным быстро определить психофизическое состояние человека. На основании того, к какому уровню отнесена реакция человека будет приниматься решение, например, системами безопасности. Этот подход применим для построения алгоритма принятия решений. Кроме размеров зрачков, как минимум, следует синхронно отслеживать трек внимания, контролировать освещенность.

Для построения алгоритма принятия решений в системах безопасности нужно применять следующий подход. На мониторе, при описанных выше условиях, демонстрируют изображения определенной тематики. В качестве стимулов могут применяться изображения, содержащие подробности, которые могут знать малый процент людей. Такие подробности обычно не вызывают интереса у несведущих. Тогда вероятность того, что область интереса и трек центров внимания совпадут не более 0,1. Ведется видеонаблюдение зрачковой реакции в ответ на полученную на информацию. Человек, который видит стимул проявляет свой интерес тем, что фокусирует взгляд на значимых элементах изображения. В зависимости от степени значимости информации, содержащейся в изображении, проявляется эмоция/ напряженность. Для таких тест-объектов дерево принятия решения можно представить в виде (рис. 4):

 

Рисунок 4 – Дерево принятия решений

 

Расширенное дерево решений должно включать стабильность освещенности, масштаба и другие параметры. Точность принятия решений повышается с увеличением количества итераций.

Основные выводы

На основании проведенных экспериментов установлено:

1. Участки пупиллограмм – зрачковых реакций на калибровочные слайды М0 и стимулы, не вызывающие эмоций М1 описывается функцией Weibull3Pos и учитывают индивидуальные особенности человека. Пупиллограмма, описывающая состояние психологического напряжения/эмоции благодаря нормировке, также учитывает индивидуальные особенности человека и лучше описывается функцией Gaussian. Математическая формализация пупиллограмм в будущем может позволить идентифицировать конкурирующие процессы сжатия – расширения зрачков.
2. Достоверно установлено (at the 0.01 significance level), что не отличаются зрачковые реакции разных людей на калибровочный слайд. Достоверно установлено (at the 0.01 significance level) отличие зрачковой реакции на эмоциональный стимул.

Этот факт позволил систематизировать пупиллограммы по категориям, относя их к одному из уровней: калибровочному L0, распознавания LR, состояние психологического напряжения/эмоции LE. Разбиение на уровни индивидуально для каждого человека.

3. Описанная методика систематизации пупиллограмм по категориям позволяет построить дерево принятия решений для интеллектуальных систем видеонаблюдения. Алгоритм позволяет определить: нужно ли продолжать видеонаблюдение за объектом, или нет.

Результаты исследований могут быть полезны в медицине при выявлении стрессового состояния человека, в образовании, в системах искусственного интеллекта.

About the authors

Oksana L. Isaeva

Yugra State University

Author for correspondence.
Email: isoksi06@gmail.com

Student of the Higher School of Engineering for the Institute of Oil and Gas

Russian Federation, Khanty-Mansiysk

Marina P. Boronenko

Yugra State University

Email: MarinaB7@yandex.ru

Candidate of Technical Sciences, Associate Professor for the Institute of Oil and Gas

Russian Federation, Khanty-Mansiysk

References

Supplementary files