Алгоритм обнаружения выбросов в модели равномерно-нечеткой регрессии

Аннотация

При построении математических моделей по статистическим данным перед исследователем возникает необходимость оценки однородности выборки, в частности, изучение данных на выбросы. Наличие в выборке выбросов негативно сказывается на результатах моделирования и адекватности модели в целом. В данной работе разработан алгоритм, позволяющий количественно измерить эффект влияния каждого наблюдения на качество построенной модели. Приводится описание данного алгоритма. Ранее автором проводились аналогичные исследования для различных регрессионных моделей.

Полный текст

1. Введение

Актуальным направлением развития регрессионного моделирования является применение теории нечетких множеств. В этом направлении можно выделить работы [1-6]. В данной работе за основу выбрана равномерно-нечеткая регрессионная модель [7].

Целью исследования является получение алгоритма позволяющего проверить исходную статистическую выборку на наличие выбросов. Подобным исследованиям посвящены работы [8-11]. Отличительной особенность данной методики является использование “двойной” оценки - при построении регрессионной модели и при вычислении характеристики наблюдения. В результате работы алгоритма каждому наблюдению ставится в соответствие числовая характеристика - расстояние Кука. Данная характеристика будет полезна исследователю при проведении экспертного анализа выборки.

Рассмотрим равномерно-нечеткую регрессионную модель

$f\left(X\right)=a_0+\sum _{j=1}^k{a}_j{x}_{ij}$                                      (1)

которая равна моде нечеткого числа A=ƒ(X). В данной модели ƒ ϵ  Ф - нечеткая числовая функция; a₀, a₁......., a_к являются параметрами модели, а x_ij - регрессорами.

Предполагая, что функция принадлежности будет иметь конкретный вид

${\mu }_A\left(y\right)=\phi \left(\frac{\left|f\left(X\right)-y\right|}{\sigma }\right)$                                 (2)

где φ : [0, ∞) → [0, 1] - фиксированная убывающая функция, φ (0)=1; σ > 0 - параметр, определяем из условия нормировки достоверности модели.

Пусть имеется некоторая выборка Ω={ (x_i1,..., x_ik, у_i) : і=1,..., N}. Достоверность модели будет определяться величиной

$f\delta \left(f\right)=\underset{i=\mathrm{1,}\dots ,N}{\min }\left\{{\mu }_{A_i}\left(y_i\right)\right\}$

В виду того, что спецификация модели является линейной функцией, задача нахождения наиболее достоверной модели сводится к нахождению

${\alpha }_{\infty }(X,y)=\underset{a_j,j=\overline{\mathrm{0,}k}}{\min }\underset{i=\mathrm{1,}\dots ,n}{\max }\left|a_0+\sum _{j=1}^k{a}_j{x}_{ij}-y_i\right|$  (3)

Задача нахождения (3) можно сформулировать в виде задачи линейного программирования

$\left\{\begin{array}{l}\underset{u;v;a_j,j=\overline{\mathrm{0,}k}}{\min }\left(u-v\right),u\ge \sum _{j=1}^k{a}_j{x}_{sj}-y_s,\\ s=\mathrm{1,}\dots ,N,v\le \sum _{j=1}^k{a}_j{x}_{tj}-y_t,\\ t=\mathrm{1,}\dots ,N\end{array}\right.$

где и - верхняя огибающая, ѵ - нижняя огибающая.

Графическая реализация алгоритма решения представлен на рисунке 1.

Рисунок 1. Минимальное значение разности двух огибающих в двумерном случае

2. Модификация расстояния Кука

В силу вероятностных предположений относительно регрессионной модели, все наблюдения имеют одинаковое значение, равнозначное влияние на результат моделирования. Поэтому в [9] предполагается, что удаление из выборки одного значения не должно в значительной мере изменять коэффициенты регрессии. Показателем изменения коэффициентов регрессии, влиянием наблюдения на результат будет служить расстояние Кука.

Определение 1. Пусть имеется регрессионная модель

Yi=b₀ +b₁x_i1 + ... + b_kx_ik + ε_і,

где b, b_(i) - оценки коэффициентов регрессии по исходным данным и после исключения i-го наблюдения.

Расстоянием Кука будем называть величину

$CD(\widehat{Y},{\widehat{Y}}_{\left(i\right)})=\frac{{({\widehat{a}}_{\left(i\right)}-\widehat{a})}^T\left(X^{T}X\right)({\widehat{a}}_{\left(i\right)}-\widehat{a})}{(k+1)s^2},$

где X - матрица регрессоров; k - количество регрессоров; s² - оценка дисперсии ошибок.

Предельным значением расстояния Кука считается значение статистики F(a,k+1,N—k — 1).

Таким образом, имеем следующий алгоритм исследования исходных данных методом расстояния Кука:

1. Вычисляются оценки коэффициентов регрессии а и дисперсия s².
2. Из набора наблюдений исключается і-ое наблюдение и находятся оценки а^.
3. Определяется расстояние Кука CD(Y,Y_(i))и сравнивается с Fα k + 1, N — k — 1).
4. Если $CD(\widehat{Y},{\widehat{Y}}_{\left(i\right)})>F(\alpha ,k+\mathrm{1,}N-k-1)$, то делается заключение что і-ое наблюдение является выбросом.

Заметим, что расстояние Кука можно представить в виде

$CD(\widehat{Y},{\widehat{Y}}_{\left(i\right)})=\frac{{\left(X\right({\widehat{a}}_{\left(i\right)}-\widehat{a}\left)\right)}^T\left(X\right({\widehat{a}}_{\left(i\right)}-\widehat{a}\left)\right)}{(k+1)s^2}=\frac{{(\widehat{Y}-{\widehat{Y}}_{\left(i\right)})}^{\text{'}}(\widehat{Y}-{\widehat{Y}}_{\left(i\right)})}{(k+1)s^2}$ (4)

что позволяет рассматривать данную метрику как аналог обычного евклидова расстояния.

Определение 2. Евклидовым расстоянием между нечеткими числами $A=\left\{(z_i,{\mu }_A(z_i\left)\right),i=\overline{\mathrm{1,}n}\right\}$, $B=\left\{(z_i,{\mu }_B(z_i\left)\right),i=\overline{\mathrm{1,}n}\right\}$ называется величина

Объединим метрики (4) и (5) и введем следующее определение.

$d(A,B)=\sqrt{\sum _{i=1}^n{\left({\mu }_A\left(z_i\right)-{\mu }_B\left(z_i\right)\right)}^2}$          (5)

Определение 3. Расстоянием Кука между нечеткими числами A и В называется величина , где $\overline{z}$ - среднее значение.

$FDK(A,B)=\frac{\sqrt{{\displaystyle \sum _{i=1}^n{\left({\mu }_A\left(z_i\right)-{\mu }_B\left(z_i\right)\right)}^2}}}{\frac{{\displaystyle \sum _{i=1}^n{(z_i-\overline{z})}^2}}{n-1}}$

3. Алгоритм исследования данных на выбросы

Рассмотрим модель (1) с треугольной функцией принадлежности, т.е. φ - линейная убывающая функция.

Проверка исходных данных будет заключаться в построении расстояния (6) между вектором теоретических $Y=\{y_1,\dots ,y_N\}$ и расчетных $\widehat{Y}=\{{\widehat{y}}_1,\dots ,{\widehat{y}}_N\}$ значений. Соответствующий алгоритм можно представить следующим образом.

1. Решая задачу (3), определяются оценки коэффициентов â регрессии (1).
2. По формуле (2) вычисляются расчетные значения выходной переменной и соответствующие им функции принадлежности $\widehat{Y}=\left\{\left({\widehat{y}}_i,{\mu }_A\left({\widehat{y}}_i\right)\right)\right\}$
3. Из набора данных исключается j-oe наблюдение и повторяются шаги 1 и 2. Получаем значение ${\widehat{Y}}_{\left(j\right)}=\left\{\left({\widehat{y}}_i^{*},{\mu }_A\left({\widehat{y}}_i^{*}\right)\right)\right\}$,$i\ne j$
4. Определяется расстояние Кука (6) $FDK(\widehat{Y},{\widehat{Y}}_{\left(j\right)})$.
5. Шаги 3 и 4 повторяются для всех $j=\overline{\mathrm{1,}N}$.

Для проверки работоспособности данного алгоритма был создан комплекс программ. Комплекс был запрограммирован в системе компьютерной математики MatLab и включает в себя три отдельные программы. Первая программа по заданному объему и размерности генерирует выборку одинаково распределенных случайных величин и искусственно “засоряет” ее небольшим (обычно 5% от объема исходной выборки) количеством дополнительных наблюдений. Эти наблюдения отличаются по распределению от основной выборки и играют роль выбросов.

Вторая программа строит модель равномерно-нечеткой регрессии. От пользователя требуется указать массивы входных и результирующей переменных. На выходе получаются два массива: коэффициентов и значений функции принадлежности для результирующей переменной ${\mu }_A\left({\widehat{y}}_i\right)$.

Третья программа производит пошаговое исключение из исходной выборки по одному наблюдению и вычисляет для оставшихся наблюдений новые значения функции принадлежности ${\mu }_A\left({\widehat{y}}_i^{*}\right)$ с использованием второй программы. На каждом таком шаге вычисляется расстояние Кука между получеными нечеткими числами. Результат записывается в массив и выводится графическая иллюстрация (диаграмма).

Рисунок 2. Диаграмма значений расстояний Кука для тестовой выборки

На рисунке 2 представлена диаграмма рассеяния расстояний Кука для одной из тестовых выборок. Легко заметить, что критическими могут быть признаны четыре наблюдения. Все эти наблюдения и были заранее введены в выборку.

С использованием разработанного программного комплекса был проведен ряд подобных испытаний с различными выборками. Результаты анализа показали, что данный метод верно определяет 3-4 выброса при объеме выборки 60-100 наблюдений. Уменьшение объема выборки влечет за собой увеличение разброса данных и тем самым осложняет процесс нахождения выбросов. При тестировании малых выборок представленный алгоритм верно определял 1-2 выброса. Таким образом, данный алгоритм пригоден для анализа результатов регрессионного моделирования. Полученный программный комплекс позволяет за разумное время обработать достаточное число наблюдений.

Заметим, что окончательный ответ на вопрос об отнесении наблюдения к выбросам дает непосредственно исследователь. Разработанный алгоритм и комплекс программ являются удобными инструментами для обнаружения “подозрительных” элементов и вычисляет соответствующую численную характеристику.