Development of an algorithm for processing expert assessments based on a weighted median

Full Text

ВВЕДЕНИЕ

В современных условиях цифровизации и роста сложности киберпреступлений возрастает роль экспертно-криминалистических подразделений органов внутренних дел, которые осуществляют компьютерно-технические экспертизы. Эффективность их работы напрямую зависит от качества принимаемых решений, основанных на экспертных оценках. Использование алгоритмов обработки экспертных оценок в работе экспертно-криминалистического центра (ЭКЦ) МВД России представляет собой объективную необходимость, обусловленную совокупностью факторов: возрастающей сложностью криминалистических задач, ростом объёма анализируемых данных, требованиями к объективности и воспроизводимости результатов, а также необходимостью оптимизации временных и ресурсных затрат. При этом процесс обработки таких оценок часто сталкивается с проблемами субъективности, несогласованности мнений экспертов, а также необходимостью учёта многокритериальности и конфликтности в организационно-технических системах, каковой является ЭКЦ МВД России [3; 9].

Тема обработки экспертных оценок в сложных системах ранее уже рассматривалась другими исследователями в данной области [1; 2; 4; 5; 6; 7; 8]. В работе [4] автор предлагает разработку математического инструментария для анализа и агрегирования экспертных суждений в условиях многокритериальности и групповой экспертизы. Предлагаемый данный алгоритм требует значительных вычислительных ресурсов, особенно при большом числе экспертов и критериев. Принимая во внимание сложность процедуры, можно предположить возникновение трудностей у экспертов (лиц, участвующих в экспертном опросе) при выставлении оценок во время процедуры сравнения альтернатив, что приведет к потере согласованности мнений экспертов.

Исследование [5] посвящено разработке методического инструментария для анализа и оценки эффективности действий ОВД в условиях ЧС. Предлагаемый авторами алгоритм предполагает итеративную обработку, что замедляет принятие решений в условиях быстро меняющейся обстановки. Не учитывает «экстренные» сценарии, где нет времени на экспертные процедуры.

В исследовании [1] авторы предлагают алгоритм для обработки коллективных экспертных оценок в рамках SWOT-анализа с использованием лингвистических оценок в процессе преобразования их в формальные нечёткие множества, применением медианы Кемени для нахождения коллективного ранжирования. При этом применение медианы Кемени при росте числа факторов SWOT (n) и числа экспертов (m) приводит к перебору всех возможных альтернатив, в данном случае ранжирование становится практически неосуществимым, что влечет увеличение времени, затрачиваемого на обработку экспертных оценок, а также возникновение потери субъективности при построении функций принадлежности и многое другое.

Исследование [7] посвящено разработке алгоритма обработки экспертных оценок при наличии n>9 и большого количества экспертов (m) путем разделения исходной матрицы A на slice-матрицы с включением эталонного объекта. Данный алгоритм позволяет вычислять приоритетность сравниваемых альтернатив, при этом авторами в работе [6] доказаны определённые нюансы данного алгоритма, заключающиеся в потере информации при разделении общей матрицы (A) на slice-матрицы.

Автор в исследовании [2] рассматривает вопрос разработки и тестирования методического и алгоритмического инструментария для формирования экспертных коалиций в контексте исследования работы сетей связи. Алгоритм реализует пошаговую процедуру формирования коалиции: от первичного отбора до проверки устойчивости результатов. Однако используемая автором метрика в виде коэффициента конкордации не учитывает веса мнений отдельных экспертов, а также алгоритм рассмотрен на основе статичных данных, не предусматривая корректировку коалиций при изменении взглядов экспертов.

На основе проанализированных научных публикаций в исследуемой области, а также принимая во внимание динамически меняющуюся обстановку в области преступлений, в отношении которых проводятся экспертизы ЭКЦ МВД России, возникает необходимость в разработке алгоритма обработки экспертных оценок, который будет учитывать специфику функционирования экспертно-криминалистического центра органов внутренних дел.

Постановка цели и задачи исследования

Цель исследования заключается в разработке и обосновании алгоритма обработки экспертных оценок на основе принципа взвешенной медианы для повышения эффективности принятия решений в экспертно-криминалистических центрах МВД России.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

В качестве решения поставленной задачи предлагается алгоритм обработки экспертных оценок на основе взвешенной медианы. Алгоритм позволяет получить обоснованный рейтинг объектов на основе мнений группы экспертов. Ключевая особенность – учёт компетентности каждого эксперта и проверка согласованности оценок. В алгоритме можно использовать группы экспертов с различным уровнем компетенций, при этом эксперты могут выставлять оценки по удобной шкале (баллы, ранги и т. п.). После выставления оценок экспертами производится их нормализация к единой шкале [0; 1]. Далее для каждого объекта вычисляется медиана оценок экспертов. После чего рассчитывается оценка компетентности (k_i), которая оценивается по степени близости оценки эксперта к групповой (медианной) оценке. Для каждого объекта рассчитывается итоговая оценка (G_j) как сумма произведений оценок на веса экспертов. Далее на основе дисперсии взвешенных отклонений мнения экспертов подвергаются проверке на согласованность. Если мнения экспертов не соответствуют установленным требованиям, то процесс расчета экспертных мнений проводится повторно. Итерационные действия производятся до тех пор, пока мнения экспертов будут согласованы. На финальном этапе происходит ранжирование по убыванию итоговой оценки (G_j) – от наиболее предпочтительного к наименее. Блок-схема разработанного алгоритма приведена на рисунке 1.

 

Рисунок 1. Блок-схема алгоритма экспертных оценок на основе взвешенной медианы

 

Алгоритм обработки экспертных оценок на основе взвешенной медианы

Шаг 1. Постановка задачи. На данном этапе происходит определение количества объектов оценки (n), количества экспертов (m), а также построение и заполнение матрицы сравниваемых объектов (X_ij) – оценка i-го эксперта (i = 1,…, m) по j-му объекту (j = 1,…, n).

Шаг 2. Расчет экспертных оценок. Данный этап содержит процедуру расчета вектора приоритетов (v_н). Расчет вектора приоритетов [8] предлагается производить следующим образом:

• определяется максимальное собственное число матрицы λ_max

${\lambda }_{max}=eigenvals\left(B\right);$ (1)

• рассчитывается вектор приоритетов

$v=eigenvec\left(B,{\lambda }_{max}\right)=\left(v_1,v_2,\dots ,v_N\right)$ (2)

• нормируется вектор приоритетов

$v_{н}=(v_{1н}, v_{2н},\dots ,v_{Nн}),$ где $v_i=\frac{v_i}{\sum v_i}, i=\mathrm{1,2,}\dots ,N.$

Шаг 3. Нормализация оценок. После расчета вектора приоритетов, в случае если использовались разные виды шкал, то необходимо произвести нормализацию оценок к единой шкале [0; 1]:

$X_{ij}=\frac{x_{ij}-x_{min}}{x_{max}-x_{min}}.$ (3)

В случае если шкалы будут одинаковы, то данный шаг алгоритма пропускается.

Шаг 4. Предварительная групповая оценка (медиана). Для каждого объекта j вычисляется медиана:

$M_j=median\left(x_{1j},x_{2j},\dots ,x_{mj}\right).$ (4)

Шаг 5. Оценка компетентности экспертов. Компетентность k_i оценивается по степени близости оценки эксперта к групповой (медианной) оценке (M_j):

$k_i=1-\frac{1}{n}\sum _{j=1}^n\left|x_{ij}-M_j\right|$ (5)

Примечание. Эксперт, чьи оценки ближе к медиане по всем объектам, получает более высокую компетентность.

Следующим действием на данном шаге является расчет коэффициента нормализации:

$k_i^{*}=\frac{k_i}{{\displaystyle {\sum }_{i=1}^m{k}_i}}$ (6)

При этом сумма всех весов = 1.

Шаг 6. Расчёт взвешенной групповой оценки. После расчета коэффициента нормализации k_i* требуется рассчитать групповую оценку j-го объекта с учётом веса каждого эксперта:

$G_j=\sum _{i=1}^m{k}_i^{*}\cdot x_{ij}$ (7)

Шаг 7. Оценка согласованности мнений. После расчета взвешенной групповой оценки на основе модифицированного коэффициента конкордации (W) [10] через дисперсию взвешенных отклонений необходимо рассчитать согласованность мнений экспертов:

$D_j={\sum }_{i=1}^m{k}_i^{*}\cdot {\left(x_{ij}-G_j\right)}^2$ (8)

Средняя дисперсия по всем объектам:

$\overline{D}=\frac{1}{n}\sum _{j=1}^n{D}_j.$ (9)

Чем меньше D̅, тем выше согласованность.

Расчет индекса согласованности:

$I_{согл}=\frac{1}{1+\overline{D}}$ (10)

I_согл > 0,7 – высокая согласованность мнений экспертов;

0,5 ≤ I_согл < 0,7 – эксперты обладают минимальной степенью согласованности;

I_согл < 0,5 – требуется перерасчет.

Шаг 8. Итерационная коррекция. Если рассчитанная оценка согласованности I_согл < 0,5, в этом случае проводится итерационная процедура повторного расчета с шага 2.

Шаг 9. Финальная оценка и ранжирование. На заключительном этапе алгоритма на основе G_j строится итоговый рейтинг объектов:

$Ранг\left(j\right)=\downarrow G_j$

где: ↓G_j – ранжирование G_j по убыванию.

Апробация разработанного метода

С целью апробации разработанного алгоритма обработки экспертных оценок предлагается провести вычислительный эксперимент с целью подтверждения его работоспособности. В качестве экспертов для проведения вычислительного эксперимента будем использовать две группы: первая группа (А) – группа профессорско-преподавательского состава (ППС) Воронежского института МВД. Вторая группа (B) – группа слушателей 5 курса, обучающихся по специальности «Компьютерная безопасность» Воронежского института МВД России.

Шаг 1. В качестве объектов сравнения для вычислительного эксперимента примем показатели, характеризующие эффективность деятельности ЭКЦ МВД России, n = 3, m = 10:

T – время выполнения;

Q – качество;

R – ресурсоёмкость.

При заполнении матриц попарного сравнения выставление экспертных оценок осуществлялось согласно фундаментальной шкале, предложенной Т. Саати [8].

В связи с тем, что в данном вычислительном эксперименте все эксперты использовали одну шкалу для заполнения матриц попарного сравнения, шаг с нормализацией оценок по формуле (3) был пропущен.

Шаг 2. Расчет экспертных оценок. λ_max – расчет производится по формуле (1). Результаты приведены в таблице 1.

 

Таблица 1. Максимальное собственное число матрицы λ_max

№ эксперта	Значение λmax
Группа A
1	3,108
2	3,197
3	3,28
4	3,356
5	3,426
Группа B
1	3,054
2	3,136
3	3,217
4	3,295
5	3,367

 

Далее расчет вектора приоритетов v осуществляется по формуле (2). Результаты приведены в таблице 2.

 

Таблица 2. Результаты расчета вектора приоритетов по группе экспертов

№ эксперта	v1	v2	v3
Группа A
1	0,517	0,359	0,124
2	0,596	0,308	0,096
3	0,649	0,274	0,077
4	0,688	0,248	0,064
5	0,718	0,227	0,054
Группа B
1	0,493	0,311	0,196
2	0,584	0,281	0,135
3	0,643	0,255	0,101
4	0,685	0,234	0,08
5	0,717	0,217	0,066

 

Выполненные шаги были рассчитаны на основе метода попарного сравнения [8].

Шаг 3. Расчет предварительной групповой оценки (медиана) производится по формуле (4). Медиана для нечетного числа элементов рассчитывается по центральному значению. В случае, рассмотренном нами, количество элементов четное. Соответственно, расчет будет производиться по двум центральным значениям после сортировки по всем экспертам. Предлагается принять следующие обозначения: ${\vartheta }_1$ – время выполнения (T), ${\vartheta }_2$ – качество (Q), ${\vartheta }_{3 }$– ресурсоемкость (R).

Расчёт для первого показателя (объекта). Упорядочив векторы приоритетов для каждого эксперта, определим 2 центральных. Ими являются значения 0,643 и 0,649. Значение медианы: $M=\frac{\mathrm{0,643}+\mathrm{0,649}}{2}.$ M = 0,646. Значения для всех объектов занесены в таблицу 3.

 

Таблица 3. Медианная оценка

Объект	Значение предварительной групповой оценки (медиана) – Mj
T	0,646
Q	0,265
R	0,088

 

Шаг 4. Вычислим веса компетентности каждого эксперта на основе того, насколько его оценки близки к предварительной групповой оценке (медиане). Вычисляется по формулам (5–6). Результаты для каждого эксперта выведены в таблицу 4.

 

Таблица 4. Результаты компетентности групп экспертов

№ эксперта	ki	ki*
Группа A
1	0,914	0,1028
2	0,954	0,1073
3	0,976	0,1098
4	0,959	0,1079
5	0,934	0,1050
Группа B
1	0,898	0,1010
2	0,937	0,1054
3	0,969	0,1090
4	0,964	0,1085
5	0,941	0,1059

 

Исходя из таблицы, можно сделать вывод, что наиболее компетентным оказался 3 эксперт группы ППС (группа А). Его оценки были наиболее близки к медианным по трем критериям. Наименьшим весом обладает эксперт 1 в группе слушателей (группа В).

Шаг 5. На данном шаге рассчитаем взвешенную групповую оценку по формуле (7), опираясь на значения, рассчитанные в таблицах 2 и 4.

Пример расчета критерия T (время выполнения):

G_T = (0,1028∙0,517)+(0,1073∙0,596)+(0,1098∙0,649)+

(0,1079∙0,688+(0,105∙0,718)+(0,101∙0,493)+

(0,1054∙0,548)+(0,109∙0,643)+(0,1085∙0,685)+

(0,1056∙0,717) ≈ 0,671.

Для критерия Q (качество):

G_Q ≈ 0,280.

Для критерия R (ресурсоемкость):

G_R ≈ 0,105.

Выведем значения G_j для каждого критерия в таблицу 5.

 

Таблица 5. Взвешенная групповая оценка

Критерий	Gj
T	0,671
Q	0,280
R	0,105

 

Наибольшую взвешенную оценку получил показатель T (время выполнения), что указывает на его наибольшую значимость в оценке эффективности деятельности ЭКЦ с точки зрения экспертов. Далее следует критерий Q (качество), и наименьшую оценку имеет критерий R (ресурсоёмкость).

Шаг 6. Для расчёта оценки согласованности мнений экспертов требовалось произвести расчёт дисперсии взвешенных отклонений по формуле (8) и рассчитать среднюю дисперсию (9). На основе полученных результатов рассчитывался индекс согласованности (10). Результаты расчёта выведены в таблицу 6.

 

Таблица 6. Оценка согласованности мнений

DT	DQ	DR	D̅	Iсогл
0,008	0,00195	0,00175	0,004	0,996

 

Полученный индекс согласованности I_согл > 0,996 значительно превышает пороговое значение I_согл > 0,7. Это свидетельствует о высокой степени согласованности мнений экспертов по всем трём критериям с учётом их компетентности.

Переход к итерационной коррекции не требуется, так как согласованность является высокой. Можно переходить к финальному ранжированию объектов на основе значений G_j.

Шаг 7. Результаты ранжирования оценок приведены в таблице 7.

 

Таблица 7. Результаты ранжирования экспертных оценок

Критерий	Gj	Ранг
T	0,671	1
Q	0,28	2
R	0,108	3

 

Интерпретация результатов:

1. Критерий «Время выполнения (T)» занимает первое место в рейтинге с оценкой 0,671, что указывает на его наибольшую значимость для оценки эффективности деятельности экспертно-криминалистического центра (ЭКЦ) с точки зрения экспертов. Это может отражать приоритетность оперативности проведения экспертиз в условиях цифровизации и роста сложности киберпреступлений.
2. Критерий «Качество (Q)» занимает второе место с оценкой 0,280. Его значимость также высока, но уступает времени выполнения. Это подчёркивает важность баланса между скоростью и точностью экспертных заключений.
3. Критерий «Ресурсоёмкость (R)» имеет наименьший вес (0,105) и занимает последнее место. Это может свидетельствовать о том, что в текущих условиях эксперты склонны считать затраты ресурсов менее критичным фактором по сравнению с временем и качеством.

Ранжирование, основанное на взвешенных групповых оценках, позволяет объективно выявить приоритетность показателей эффективности ЭКЦ МВД России. Результаты показывают, что в первую очередь необходимо оптимизировать время выполнения экспертиз, при этом сохраняя достаточный уровень качества. Ресурсоёмкость хотя и важна, но рассматривается как второстепенный фактор. Данные результаты могут быть использованы для принятия управленческих решений, распределения ресурсов и разработки методик оценки деятельности экспертно-криминалистических подразделений.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

В результате проведенного исследования по разработке алгоритма обработки экспертных оценок на основе принципа взвешенной медианы были достигнуты следующие результаты:

• разработан новый алгоритм обработки экспертных оценок, учитывающий компетентность экспертов и обеспечивающий высокую согласованность мнений;
• предложена методика определения весов экспертов на основе близости их оценок к групповым;
• модифицирован коэффициент конкордации для оценки согласованности экспертных мнений.

Полученные результаты эмпирическим путем показали, что предложенный алгоритм позволяет получать объективные экспертные оценки. Разработанный алгоритм можно использовать в практической деятельности экспертно-криминалистических центров МВД России с целью подготовки и принятия эффективных управленческих решений.

About the authors

Alexander A. Terentyev

Voronezh Institute of the Ministry of Internal Affairs of Russia

Author for correspondence.
Email: Alextt02021993@yandex.ru

Candidate of Engineering Science, Senior Lecturer at the Department of Infocommunication Systems and Technologies

Russian Federation, Voronezh

Victoria Y. Poslavskaya

Voronezh Institute of the Ministry of Internal Affairs of Russia

Email: vikka464@gmail.com

Engineer, Department of Technical Support of the Educational Process, Department of Information Technology Support of the Educational Process

Russian Federation, Voronezh

References

Supplementary files