Идентификация параметров комбинированной кусочно-линейной регрессионной модели

Полный текст

Введение

Весьма часто при исследовании методами математического моделирования сложных технических и социально-экономических объектов исследователи вынуждены применять наряду с линейными различные нелинейные конструкции, в частности, кусочного типа. Так, в работе [1] рассматриваются тендерные предложения китайских компаний, зарегистрированных на бирже. При этом посредством применения непараметрического метода и модели кусочно-линейной регрессии доказывается, что ценообразование предложений имеет эффект привязки. В [2] рассмотрено рассеяние гармонической во времени акустической волны на ограниченном анизотропном неоднородном препятствии, погруженном в неограниченную анизотропную однородную среду, в предположении, что граница препятствия является липшицевой поверхностью. Математическая модель сформулирована в виде краевой задачи переноса для эллиптического уравнения в частных производных типа Гельмгольца второго порядка с кусочно-липшиц-непрерывными переменными коэффициентами. Статья [3] посвящена применению метода кусочной линеаризации для решения проблемы ограничения потока природного газа в трубопроводе, что достигается преобразованием исходной модели в задачу смешанного целочисленного программирования. В [4] изучаются максимально допустимые скорости судов на маршруте из-за таких географических особенностей, как каналы, протоки и океанские течения. При этом сначала формулируется задача нелинейного программирования с последующим ее преобразованием в задачу линейного программирования путем использования кусочно-линейных аппроксимирующих функций. Кроме того, представлена эвристическая процедура для сокращения времени вычислений для задач большой размерности. В работе [5] для модельного описания затрат на топливо для генерирующих установок используется кусочно-квадратичная функция. В [6] осуществляется детальный анализ экономической модели объема производства с дефицитом при использовании общей функции нормы стоимости запасов и кусочно-линейных вогнутых производственных затратах.

Результаты и обсуждение

Оценивание параметров комбинированной кусочно-линейной регрессии как задача линейно-булевого программирования

Пусть при исследовании некоторого сложного объекта произвольной природы методами регрессионного анализа поведение некоторого выходного фактора (зависимой переменной) у определяется значениями входных показателей (независимых переменных) $x_i,i=\overline{\mathrm{1,}m}$. Наиболее часто при этом (см., например, [7-9]) используется линейная модель (регрессионное уравнение):

$y_k=\sum _{i=1}^m{\alpha }_i{x}_{ki}+{\epsilon }_k,$ $k=\overline{\mathrm{1,}n}$,   (1)

где k – номер наблюдения, n – длина выборки, ${\epsilon }_k$ - ошибки аппроксимации, не имеющие вероятностной природы, а представляющие собой погрешности модельного описания реального процесса, $\alpha$ – вектор оцениваемых параметров. Значительно менее употребительными являются кусочно-линейные модели (см., например, [10-14]), обладающие некоторыми замечательными содержательными свойствами:

$y_k=\min \left\{{\alpha }_1{x}_{k1},{\alpha }_2{x}_{k2}\mathrm{,...,}{\alpha }_m{x}_{km}\right\}+{\epsilon }_k$, $k=\overline{\mathrm{1,}n}$.      (2)

$y_k=\max \left\{{\alpha }_1{x}_{k1},{\alpha }_2{x}_{k2}\mathrm{,...,}{\alpha }_m{x}_{km}\right\}+{\epsilon }_k$, $k=\overline{\mathrm{1,}n}$.     (3)

Одним из таких свойств является невозможность наращивания (снижения) значений зависимой переменной без зафиксированного в моделях (2) или (3) пропорционального роста (уменьшения) значений всех независимых факторов. В работах [10-14] подробно описаны способы оценивания параметров регрессионных уравнений (2) и (3).

В определенной мере обобщающей модельные конструкции (1) и (2) формой является комбинированная кусочно-линейная модель (в работе [15] несколько схожая модель названа линейно-неэлементарной) вида:

$y_k=\sum _{i\in I_1}{\alpha }_i{x}_{ki}+{\min }_{j\in I_2}\left\{{\beta }_j{x}_{kj}\right\}+{\epsilon }_k.$ (4)

Здесь $I_1$ и $I_2$ – индексные множества, такие, что:

$I_1\cup I_2=\left\{\mathrm{1,2,...}m\right\}.$

При этом выполнения обычно накладываемого в подобных случаях условия

$I_1\cap I_2=\varnothing$

не требуется, поскольку допускается вхождение некоторых независимых переменных одновременно и в линейную, и в кусочно-линейную составляющие модели (4). Следовательно, в общем случае |$I_1$|+|$I_2$| m, где |A| – число элементов в множестве А. 

Идентификацию параметров ${\alpha }_i$, $i\in I_1$ ${\beta }_j$, $j\in I_2$ будем проводить на основе применения метода наименьших модулей (МНМ) посредством минимизации функции $J\left(\alpha ,\beta \right)$:

$J\left(\alpha ,\beta \right)$=$\sum _{k=1}^n|y_k-\sum _{i\in I_1}{\alpha }_i{x}_{ki}-{\min }_{j\in I_2}\left\{{\beta }_j{x}_{kj}\right\}|\text{\hspace{0.17em}}\to \min$.   (5)

Используем применяемый при оценивании параметров кусочно-линейных регрессий способ сведения МНМ для них к задаче линейно-булевого программирования (ЛБП). Она для задачи (5) примет вид:

$\sum _{i\in I_1}{\alpha }_i{x}_{ki}+z_k+u_k-v_k=y_k$, $k=\overline{\mathrm{1,}n}$,     (6)

$z_k\le {\beta }_j{x}_{kj}$, $k=\overline{\mathrm{1,}n}$, $j\in I_2$,    (7)

${\beta }_j{x}_{kj}-z_k\le \left(1-{\sigma }_{kj}\right)M$, $k=\overline{\mathrm{1,}n}$, $j\in I_2$,     (8)

$\sum _{j\in I_2}{\sigma }_{kj}=1$, $k=\overline{\mathrm{1,}n}$,     (9)

${\sigma }_{ti}\in \left\{\mathrm{0,}1\right\}$, $k=\overline{\mathrm{1,}n}$, $j\in I_2$,     (10)

$J\left(\alpha ,\beta \right)=\sum _{k=1}^n\left(u_k+v_k\right)\to \min$.    (11)

Здесь М – заранее выбранное большое положительное число.

Задача ЛБП (6) – (11) содержит |$I_1$|+|$I_2$|+ (2+|$I_2$|) переменных, из которых $n$|$I_2$|- булевы, и 2 $n$ (1+|$I_2$|) ограничений.

Комбинированная кусочно-линейная модель изобретательской активности

Используем описанный выше алгоритм оценивания неизвестных параметров комбинированной кусочно-линейной регрессии (4) для построения модели изобретательской активности в Российской Федерации. Отметим при этом, что подобные проблемы рассматривались в ряде публикаций (см., например, [16-19]).

Введем в рассмотрение переменные:

y – количество заявок на выдачу патента в Российской Федерации (шт.);

${х}_1$– объем валового внутреннего продукта (млрд. руб.);

${х}_2$ – численность аспирантов на конец года (чел.);

${х}_3$– численность профессорско-преподавательского состава (тыс. чел.).

В качестве информационной базы исследованием будем использовать статистическую информацию по выделенным факторам за 2000–2020 гг. [19]). Сформируем индексные множества $I_1$ и $I_2$ следующим образом: $I_1$={1}, {2,3}. При оценивании параметров регрессии (5) воспользуемся программой [20]. В результате получим следующую комбинированную кусочно-линейную модель:

$у=-2421.9+0.177{х}_1+\min \left\{0.242{х}_2\mathrm{,101.12}{х}_3\right\}$,    (12)

Е=5.68%, s = (2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 3, 3, 3, 2, 2, 2, 2, 2, 2, 2, 2).

Здесь Е – средняя относительная ошибка аппроксимации, s – вектор срабатываний [21], произвольная компонента которого $s_k$рассчитывается по правилу:

$s_k=\left\{\begin{array}{l}\mathrm{2,}если0.242{х}_{k2}\le 101.12{х}_{k3}\\ \mathrm{3,}впротивномслучае.\end{array}\right.$

Отметим, что модель (12) обладает весьма приемлемой точностью, что позволяет эффективно ее использовать при проведении различных аналитических и прогнозных расчетов. Анализ вектора срабатываний s позволяет сделать вывод о том, что рост количества заявок на выдачу патента в Российской Федерации в 2010–2012 годах сдерживался численностью профессорско-преподавательского состава, в остальные годы ретроспективного периода – численностью аспирантов. Это обстоятельство указывает на высокую значимость деятельности последних в сфере изобретательской деятельности.

Заключение и выводы

В работе рассмотрена комбинированная кусочно-линейная регрессионная модель, слагаемыми которой являются линейная и кусочная составляющие. Описан алгоритмический способ оценивания ее параметров посредством применения метода наименьших модулей, что позволяет свести эту задачу к задаче линейно-булевого программирования. Разработана комбинированная кусочно-линейная модель изобретательской активности в Российской Федерации, которая может использоваться при проведении различных аналитических и прогнозных расчетов.

Об авторах

Сергей Иванович Носков

Автор, ответственный за переписку.
Email: sergey.noskov.57@mail.ru

доктор технических наук, профессор, профессор кафедры «Информационные системы и защита информации»

Список литературы

Дополнительные файлы