Construction of quite interpretable non-elementary linear regression models

Full Text

Введение

Актуальным в настоящее время направлением в науке считается интерпретируемое машинное обучение [1–4]. Как отмечено в [2], со ссылкой на [3], интерпретируемость дает возможность моделям машинного обучения представлять свое поведение в понятных людям терминах. С точки зрения конечных пользователей, интерпретируемость повышает доверие к модели машинного обучения, поскольку им становится ясно и понятно, как именно она работает. С точки зрения разработчиков, интерпретируемость помогает лучше понять проблему, как устроены данные и причины неточной работы модели, что в конечном итоге приводит к повышению её точности.

Среди моделей машинного обучения высокой степенью интерпретируемости обладают регрессионные модели [5, 6]. Среди них самыми простыми закономерно следует считать линейные регрессии, в которых каждый коэффициент трактуется как величина изменения зависимой переменной при изменении соответствующей ему объясняющей переменной на одну условную единицу. Однако даже при построении линейной регрессии может оказаться так, что у неё будут искажены знаки коэффициентов при объясняющих переменных. Причина такого искажения – мультиколлинеарность, означающая наличие сильной корреляционной связи между объясняющими переменными. Таким образом, мультиколлинеарность негативно сказывается на интерпретируемости регрессионных моделей.

На сегодняшний день ведется активная работа по созданию новых эффективных форм связи между переменными в регрессионных моделях. Так, например, в работах [7–10] исследуются так называемые кусочно-линейные регрессии, для оценки неизвестных параметров которых авторы используют метод наименьших модулей. В то же время в работах [11–14] предложены неэлементарные регрессионные модели, являющиеся обобщением линейных регрессий и содержащие в своем составе помимо объясняющих переменных все возможные комбинации их пар, преобразованных с помощью бинарных операций min и max. Для оценки таких моделей используется метод наименьших квадратов (МНК). В [14] предложен метод построения неэлементарных линейных регрессий (НЛР) на основе аппарата математического программирования и продемонстрированы их высокие интерпретационные свойства. Однако вопрос о том, каким образом следует контролировать мультиколлинеарность в НЛР, а значит, и их интерпретируемость, решен не был.

Работа [15] посвящена построению вполне интерпретируемых линейных регрессионных моделей. Вполне интерпретируемая регрессия удовлетворяет трем условиям:

• её спецификация изначально выбрана так, что после оценивания можно объяснить любой коэффициент модели или некоторый его аналог, за исключением, быть может, свободного члена;
• все знаки коэффициентов модели соответствуют содержательному смыслу решаемой задачи;
• эффект мультиколлинеарности незначителен.

Для построения вполне интерпретируемых линейных регрессий в работе [15] был предложен метод последовательного повышения абсолютных вкладов переменных в общую детерминацию. Целью данной работы является интеграция в задачу построения НЛР дополнительных ограничений, позволяющих контролировать абсолютные вклады и мультиколлинеарность, что позволит сформулировать алгоритм, гарантирующий получение вполне интерпретируемых НЛР.

Результаты и обсуждение

НЛР [14] имеет вид

$y_i={\alpha }_0+\sum _{j=1}^l{\alpha }_j{x}_{ij}+\sum _{j=1}^{C_l^2}{\alpha }_{j+l}\min \{x_{i,{\mu }_{j1}},{\lambda }_{j1}{x}_{i,{\mu }_{j2}}\}+$

$+\sum _{j=1}^{C_l^2}{\alpha }_{j+l+{С}_l^2}\max \{x_{i,{\mu }_{j1}},{\lambda }_{j2}{x}_{i,{\mu }_{j2}}\}+{\epsilon }_i$,    (1)

$i=\overline{\mathrm{1,}n}$,

где $n$ – объем выборки; $l$ – количество объясняющих переменных; $y_i$ – $i$-е значение объясняемой переменной $y$; $x_{ij}>0$ – $i$-е значение $j$-й объясняющей переменной; ${\epsilon }_i$ – $i$-я ошибка аппроксимации; ${\alpha }_0$, ${\alpha }_1$, ..., ${\alpha }_{l+2C_l^2}$, ${\lambda }_{11}$, ${\lambda }_{21}$, ..., ${\lambda }_{{С}_l^2\mathrm{,1}}$, ${\lambda }_{12}$, ${\lambda }_{22}$, ..., ${\lambda }_{{С}_l^2\mathrm{,2}}$ – неизвестные параметры; ${\mu }_{j1}$, ${\mu }_{j2}$ – элементы -й строки индексной матрицы  размера $C_l^2\times 2$, содержащей в строках всевозможные комбинации пар индексов переменных.

Придавая каждому из параметров ${\lambda }_{11}$, ${\lambda }_{21}$, ..., ${\lambda }_{{С}_l^2\mathrm{,1}}$, ${\lambda }_{12}$, ${\lambda }_{22}$, ..., ${\lambda }_{{С}_l^2\mathrm{,2}}$ $p$ значений так, как это сделано в [14], можно перейти к регрессии

$y_i={\alpha }_0+\sum _{j=1}^l{\alpha }_j{x}_{ij}+\sum _{j=1}^{C_l^2}\sum _{k=1}^p{\alpha }_{jk}^{-}{z}_{ijk}^{-}+\sum _{j=1}^{C_l^2}\sum _{k=1}^p{\alpha }_{jk}^{+}{z}_{ijk}^{+}+{\epsilon }_i$,    (2)

$i=\overline{\mathrm{1,}n}$,

где ${\alpha }_{jk}^{-}$, ${\alpha }_{jk}^{+}$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$ – параметры для регрессоров с бинарной операцией min и max соответственно; $z_{ijk}^{-}=\min \left\{x_{i,{\mu }_{j1}},{\lambda }_{jk}^{*}{x}_{i,{\mu }_{j2}}\right\}$, $z_{ijk}^{+}=\max \left\{x_{i,{\mu }_{j1}},{\lambda }_{jk}^{*}{x}_{i,{\mu }_{j2}}\right\}$, $i=\overline{\mathrm{1,}n}$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$.

Проведя нормирование всех переменных в (2) по известному правилу [14], вместо (2) можно получить стандартизованную регрессию с неизвестными коэффициентами ${\beta }_j$,  $j=\overline{\mathrm{1,}l}$ и ${\beta }_{jk}^{-}$, ${\beta }_{jk}^{+}$, $j=\overline{\mathrm{1,}{С}_l^2}$, $k=\overline{\mathrm{1,}p}$. А с помощью неё можно сформулировать следующую задачу частично-булевого линейного программирования (ЧБЛП) построения модели НЛР:

$R^2=\sum _{j=1}^l{r}_{y{x}_j}\cdot {\beta }_j+\sum _{j=1}^{C_l^2}\sum _{k=1}^p{r}_{y{z}_{jk}^{-}}\cdot {\beta }_{jk}^{-}+\sum _{j=1}^{C_l^2}\sum _{k=1}^p{r}_{y{z}_{jk}^{+}}\cdot {\beta }_{jk}^{+}\to \max$,    (3)

$-\left(1-{\delta }_j\right)M\le \sum _{k=1}^l{r}_{x_j{x}_k}\cdot {\beta }_k+\sum _{s=1}^{C_l^2}\sum _{k=1}^p{r}_{x_j{z}_{sk}^{-}}\cdot {\beta }_{sk}^{-}+$

$+\sum _{s=1}^{C_l^2}\sum _{k=1}^p{r}_{x_j{z}_{sk}^{+}}\cdot {\beta }_{sk}^{+}-r_{y{x}_j}\le (1-{\delta }_j)M$, $j=\overline{\mathrm{1,}l}$,   (4)

$-\left(1-{\delta }_{jk}^{-}\right)M\le \sum _{s=1}^l{r}_{x_s{z}_{jk}^{-}}\cdot {\beta }_s+\sum _{s_1=1}^{C_l^2}\sum _{s_2=1}^p{r}_{z_{s_1{s}_2}^{-}{z}_{jk}^{-}}\cdot {\beta }_{s_1{s}_2}^{-}+$

$+\sum _{s_1=1}^{C_l^2}\sum _{s_2=1}^p{r}_{z_{s_1{s}_2}^{+}{z}_{jk}^{-}}\cdot {\beta }_{s_1{s}_2}^{+}-r_{y{z}_{jk}^{-}}\le (1-{\delta }_{jk}^{-})M$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$,    (5)

$-\left(1-{\delta }_{jk}^{+}\right)M\le \sum _{s=1}^l{r}_{x_s{z}_{jk}^{+}}\cdot {\beta }_s+\sum _{s_1=1}^{C_l^2}\sum _{s_2=1}^p{r}_{z_{s_1{s}_2}^{-}{z}_{jk}^{+}}\cdot {\beta }_{s_1{s}_2}^{-}+$

$+\sum _{s_1=1}^{C_l^2}\sum _{s_2=1}^p{r}_{z_{s_1{s}_2}^{+}{z}_{jk}^{+}}\cdot {\beta }_{s_1{s}_2}^{+}-r_{y{z}_{jk}^{+}}\le (1-{\delta }_{jk}^{+})M$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$,    (6)

$0\le {\beta }_j\le {\left(r_{y{x}_j}\right)}^{-1}{\delta }_j$, $j\in \left\{s|r_{y{x}_s}>0\right\}$,     (7)

${\left(r_{y{x}_j}\right)}^{-1}{\delta }_j\le {\beta }_j\le 0$, $j\in \left\{s|r_{y{x}_s}<0\right\}$,     (8)

$0\le {\beta }_{jk}^{-}\le {\left(r_{y{z}_{jk}^{-}}\right)}^{-1}{\delta }_{jk}^{-}$, $\left(j,k\right)\in \left\{\left(s_1,s_2\right)|r_{y{z}_{s_1{s}_2}^{-}}>0\right\}$,    (9)

${\left(r_{y{z}_{jk}^{-}}\right)}^{-1}{\delta }_{jk}^{-}\le {\beta }_{jk}^{-}\le 0$, $\left(j,k\right)\in \left\{\left(s_1,s_2\right)|r_{y{z}_{s_1{s}_2}^{-}}<0\right\}$,    (10)

$0\le {\beta }_{jk}^{+}\le {\left(r_{y{z}_{jk}^{+}}\right)}^{-1}{\delta }_{jk}^{+}$, $\left(j,k\right)\in \left\{\left(s_1,s_2\right)|r_{y{z}_{s_1{s}_2}^{+}}>0\right\}$,     (11)

${\left(r_{y{z}_{jk}^{+}}\right)}^{-1}{\delta }_{jk}^{+}\le {\beta }_{jk}^{+}\le 0$, $\left(j,k\right)\in \left\{\left(s_1,s_2\right)|r_{y{z}_{s_1{s}_2}^{+}}<0\right\}$,     (12)

${\delta }_j\in \left\{\mathrm{0,1}\right\}$, $j=\overline{\mathrm{1,}l}$; ${\delta }_{jk}^{-}\in \left\{\mathrm{0,1}\right\}$, ${\delta }_{jk}^{+}\in \left\{\mathrm{0,1}\right\}$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$,   (13)

где $R^2$ – коэффициент детерминации модели; символом $r_{XY}$ обозначены коэффициенты парной корреляции между переменными $X$ и $Y$; ${\delta }_j$, $j=\overline{\mathrm{1,}l}$ – булевы переменные, заданные по правилу

${\delta }_j=\left\{\begin{array}{l}\mathrm{1,}\text{ если j-я переменная входит в регрессию,}\\ \mathrm{0,}\text{ в противном случае;}\end{array}\right.$

${\delta }_{jk}^{-}$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$– булевы переменные, заданные по правилу

${\delta }_{jk}^{-}=\left\{\begin{array}{l}\mathrm{1,}\text{ если j-я бинарная операция минимум с k-м преобразованием}\\ \text{входит в регрессию,}\\ \mathrm{0,}\text{ в противном случае;}\end{array}\right.$

${\delta }_{jk}^{+}$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$ – булевы переменные, заданные по правилу

${\delta }_{jk}^{+}=\left\{\begin{array}{l}\mathrm{1,}\text{ если j-я бинарная операция максимум с k-м преобразованием}\\ \text{входит в регрессию,}\\ \mathrm{0,}\text{ в противном случае;}\end{array}\right.$

$M$ – большое положительное число, возможный способ выбора которого подробно описан в [14].

Решение задачи ЧБЛП с целевой функцией (3) и с линейными ограничениями (4)–(13) приводит к выбору оптимальной структуры модели (2), в которой знаки оценок параметров будут согласованы со знаками соответствующих коэффициентов корреляции. В этой связи в полученной регрессии о значимости регрессоров можно судить по величинам абсолютных вкладов переменных в общую детерминацию $R^2$:

$C_{x_j}^{\text{абс}}=r_{y{x}_j}\cdot {\beta }_j$, $j=\overline{\mathrm{1,}l}$; $C_{z_{jk}^{-}}^{\text{абс}}=r_{y{z}_{jk}^{-}}\cdot {\beta }_{jk}^{-}$, $C_{z_{jk}^{+}}^{\text{абс}}=r_{y{z}_{jk}^{+}}\cdot {\beta }_{jk}^{+}$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$.

Для того чтобы каждая объясняющая переменная входила в модель не более одного раза, необходимо ввести в задачу (3)–(13) следующие линейные ограничения:

$\sum _{j=1}^l{v}_{ij}{\delta }_j+\sum _{j=1}^{C_l^2}\sum _{k=1}^p{v}_{i,l+k+p(j-1)}{\delta }_{jk}^{-}+\sum _{j=1}^{C_l^2}\sum _{k=1}^p{v}_{i,l+p{C}_l^2+k+p(j-1)}{\delta }_{jk}^{+}\le 1$, $i=\overline{\mathrm{1,}l}$,     (14)

где $v_{ij}$– элементы бинарной матрицы $V$размера $\left(l+2p\cdot C_l^2\right)\times l$, заданные по правилу

$v_{ij}=\left\{\begin{array}{l}\mathrm{1,}\text{ если j-я переменная входит в i-й регрессор модели (2),}\\ \mathrm{0,}\text{ в противном случае.}\end{array}\right.$

В полученной в результате решения задачи ЧБЛП (3) – (14) НЛР может присутствовать мультиколлинеарность, а коэффициенты модели могут оказаться незначимыми. Для решения этой проблемы введем в задачу ограничения на абсолютные вклады переменных $C_{x_j}^{\text{абс}}$, $C_{z_{jk}^{-}}^{\text{абс}}$, $C_{z_{jk}^{+}}^{\text{абс}}$ в общую детерминацию $R^2$:

$r_{y{x}_j}\cdot {\beta }_j\ge \theta \cdot {\delta }_j$, $j=\overline{\mathrm{1,}l}$,       (15)

$r_{y{z}_{jk}^{-}}\cdot {\beta }_{jk}^{-}\ge \theta \cdot {\delta }_{jk}^{-}$, $j=\overline{\mathrm{1,}{С}_l^2}$, $k=\overline{\mathrm{1,}p}$,     (16)

$r_{y{z}_{jk}^{+}}\cdot {\beta }_{jk}^{+}\ge \theta \cdot {\delta }_{jk}^{+}$, $j=\overline{\mathrm{1,}{С}_l^2}$, $k=\overline{\mathrm{1,}p}$,     (17)

где $\theta \ge 0$ – заданное минимальное значение вклада каждого регрессора в общую детерминацию. Очевидно, что с ростом числа $\theta$ будут увеличиваться вклады регрессоров в общую детерминацию и параллельно будет уменьшаться их количество, что приведет к снижению мультиколлинеарности.

Построение НЛР рекомендуется проводить методом последовательного повышения вкладов (МППВ) регрессоров по следующему алгоритму. Решить задачу (3) – (14). Для полученной НЛР вычислить абсолютные вклады регрессоров и оценить степень мультиколлинеарности любым известным методом, например с помощью коэффициентов вздутия дисперсии. Если вклады достаточно высоки, а мультиколлинеарность слабая, то НЛР получена. В противном случае назначается величина $\theta$, чуть большая, чем минимальный из текущих абсолютных вкладов, и решается задача (3) – (17). И так до тех пор, пока не будет получена НЛР со слабой мультиколлинеарностью и необходимыми абсолютными вкладами регрессоров в детерминацию. МППВ гарантирует построение вполне интерпретируемой НЛР.

Для решения сформулированных весьма трудоемких задач была разработана специальная программа «ВИнтер-2». Решателем задач ЧБЛП в этой программе выступает пакет LPSolve. Для того чтобы полученная структура НЛР гарантированно была интерпретируемой, «ВИнтер-2» по умолчанию исключает все регрессоры, не удовлетворяющие содержательному смыслу решаемой задачи (подробно эти условия описаны в [14]). Также в программе предусмотрена возможность контролировать число преобразованных переменных, исключая те из них, у которых коэффициент корреляции с  по абсолютной величине не превосходит некоторого числа $r\in \left[\mathrm{0,1}\right)$, т. е. для которых не выполняются условия:

$\left|r_{y{z}_{jk}^{-}}\right|\ge r$, $\left|r_{y{z}_{jk}^{+}}\right|\ge r$, $j=\overline{\mathrm{1,}{C}_l^2}$, $k=\overline{\mathrm{1,}p}$.      (18)

Тюменская область, имеющая в своем составе Ханты-Мансийский автономный округ – Югру и Ямало-Ненецкий автономный округ, занимает третье место по площади среди субъектов Российской Федерации. Она представляет собой крупнейший нефтегазовый регион России, поэтому актуальной задачей является создание в Тюменской области современной и эффективной транспортной инфраструктуры. При этом с научной точки зрения актуальна задача моделирования железнодорожных грузовых перевозок в Тюменской области. Одно из решений этой задачи можно найти в работах [16, 17], в которых построена линейная регрессия

$y=\mathrm{31,6346}+\mathrm{0,0007}{z}_1-\mathrm{0,0001}{z}_2-\mathrm{0,0003}{z}_3$,

где $y$ – грузовые перевозки железнодорожного транспорта юга Тюменской области (млн тонн); $z_1$ – среднемесячная заработная плата работников магистрального ж/д транспорта (руб.); $z_2$ – экспорт в страны дальнего зарубежья минеральных продуктов (млрд долл. США); $z_3$ – среднесписочная численность работников (человек). Коэффициент детерминации $R^2$ этой линейной регрессии составил всего 0,67, поэтому вряд ли можно считать её адекватной.

Для построения вполне интерпретируемой НЛР железнодорожных грузоперевозок Тюменской области были использованы годовые статистические данные за период с 2000 по 2020 г. по следующим переменным:

y – отправление грузов железнодорожным транспортом общего пользования (миллионов тонн);

x₁ – численность рабочей силы (тысяч человек);

x₂ – число предприятий и организаций;

x₃ – производство электроэнергии (миллиард киловатт-часов);

x₄ – удельный вес автомобильных дорог с твердым покрытием в общей протяженности автомобильных дорог общего пользования (%);

x₅ – удельный вес автомобильных дорог с усовершенствованным покрытием в протяженности автомобильных дорог с твердым покрытием общего пользования (%);

x₆ – продукция сельского хозяйства (миллионов рублей);

x₇ – объем работ, выполненных по виду экономической деятельности «Строительство» (миллионов рублей);

x₈ – валовой региональный продукт (ВРП) (миллионов рублей).

Коэффициенты корреляции объясняющих переменных с y составляют:

$r_{y{x}_1}=\mathrm{0,840}$, $r_{y{x}_2}=\mathrm{0,339}$, $r_{y{x}_3}=\mathrm{0,896}$, $r_{y{x}_4}=-\mathrm{0,549}$,

$r_{y{x}_5}=-\mathrm{0,725}$, $r_{y{x}_6}=\mathrm{0,946}$, $r_{y{x}_7}=\mathrm{0,818}$, $r_{y{x}_8}=\mathrm{0,926}$.

Как видно, знаки всех коэффициентов корреляции удовлетворяют содержательному смыслу задачи. Так, рост численности рабочей силы x₁, числа предприятий и организаций x₂, производства электроэнергии x₃, продукции сельского хозяйства x₆, объемов работ по виду «Строительство» x₇ и ВРП x₈ приводит к увеличению грузовых ж/д перевозок Тюменской области. А увеличение удельного веса автодорог с твердым покрытием x₄ и с усовершенствованным покрытием x₅ приводит, по логике, к повышению спроса на перевозки грузов автотранспортом, а следовательно, к снижению спроса на ж/д перевозки. Самая слабая корреляция наблюдается между $y$и $x_2$ (0,339), однако было принято решение не исключать переменную $x_2$ из рассмотрения, поскольку степень её влияния на y в НЛР может вырасти.

Сначала в программе «ВИнтер-2» были заданы следующие параметры построения НЛР: $p=4$, $r=\mathrm{0,2}$. В результате было сформировано $p\cdot {С}_l^2=112$ пар переменных, преобразованных с помощью бинарной операции min, и столько же пар переменных, преобразованных с помощью max. Итого 224 преобразования. Затем из них были исключены те, для которых не выполнились условия (18). В итоге сформировался набор, содержащий 8 объясняющих переменных и 128 преобразований. По этому набору программа автоматически сформировала задачу ЧБЛП (3) – (14) на языке пакета LPSolve. Решение этой задачи было найдено за 153 секунды. В результате решения была выбрана следующая оптимальная структура НЛР:

$\tilde{y}=\mathrm{13,8072}+\underset{\left(\mathrm{1,146}\right)}{\overset{\left(\mathrm{0,0701}\right)}{\mathrm{0,000167}}}\min \left\{x_2\mathrm{,0.9545}{x}_7\right\}+\underset{\left(\mathrm{0,128}\right)}{\overset{\left(\mathrm{0,0293}\right)}{\mathrm{0,017}}}\min \left\{x_3\mathrm{,0.0000709}{x}_8\right\}+$

$+\underset{\left(\mathrm{4,229}\right)}{\overset{\left(\mathrm{0,7854}\right)}{\mathrm{0,0105}}}\max \left\{x_1\mathrm{,0.04633}{x}_6\right\}-\underset{(-\mathrm{1,706})}{\overset{\left(\mathrm{0,0666}\right)}{\mathrm{0,403}}}\max \left\{x_4\mathrm{,0.9475}{x}_5\right\}$.      (19)

Как видно, все восемь объясняющих переменных вошли в состав полученного уравнения. При этом для пар x₂ и x₇, x₃ и x₈ была идентифицирована бинарная операция min, а для пар x₁ и x₆, x₄ и x₅ – max.

Коэффициент детерминации $R^2$ НЛР (19) составил 0,951423, что подтверждает адекватность модели. 

В скобках под коэффициентами регрессии (19) указаны значения t-критерия Стьюдента, по которым можно сделать вывод, что значимым для уровня значимости $\alpha =\mathrm{0,1}$оказался только один регрессор – $\max \left\{x_1\mathrm{,0.04633}{x}_6\right\}$. В скобках над коэффициентами модели (19) указаны абсолютные вклады переменных в общую детерминацию, показывающие, что регрессор $\min \left\{x_3\mathrm{,0.0000709}{x}_8\right\}$ вносит слишком низкий вклад (0,0293), не превышающий 0,05.

Коэффициенты вздутия дисперсии регрессоров НЛР (19) составили 8,912, 23,039, 12,596 и 1,435 соответственно. Двое из этих коэффициентов превысили пороговое значение 10, из чего можно сделать вывод о присутствии в полученной модели мультиколлинеарности.

Перечисленные обстоятельства не позволяют отнести НЛР (19) к вполне интерпретируемым. Поэтому было принято решение перестроить модель, дополнив задачу ЧБЛП (3) – (14) ограничениями (15) – (17) на абсолютные вклады переменных. Поскольку минимальный из абсолютных вкладов регрессии (19) равен 0,0293, то величина параметра $\theta$была выбрана равной 0,03. Начальные параметры $p$ и $r$ не менялись. Решение задачи (3) – (17) в LPSolve было найдено за 136 секунд. В результате автоматически определилась следующая структура НЛР:

$\tilde{y}=\mathrm{12,7415}+\underset{\left(\mathrm{3,827}\right)}{\overset{\left(\mathrm{0,0774}\right)}{\mathrm{0,0001866}}}\min \left\{x_2\mathrm{,0.09879}{x}_8\right\}+\underset{\left(\mathrm{13,14}\right)}{\overset{\left(\mathrm{0,8078}\right)}{\mathrm{0,01083}}}\max \left\{x_1\mathrm{,0.04633}{x}_6\right\}-$

$-\underset{(-\mathrm{1,751})}{\overset{\left(\mathrm{0,0661}\right)}{\mathrm{0,4005}}}\max \left\{x_4\mathrm{,0.9475}{x}_5\right\}$.     (20)

Как видно, переменные x₃ и x₇ не вошли в состав регрессии (20). При этом регрессоры $\max \left\{x_1\mathrm{,0.04633}{x}_6\right\}$ и $\max \left\{x_4\mathrm{,0.9475}{x}_5\right\}$ сохранились в уравнении, а регрессоры $\min \left\{x_2\mathrm{,0.9545}{x}_7\right\}$ и $\min \left\{x_3\mathrm{,0.0000709}{x}_8\right\}$ из (19) перегруппировались в модели (20) в регрессор $\min \left\{x_2\mathrm{,0.09879}{x}_8\right\}$.

Коэффициент детерминации $R^2$ НЛР (20) составил 0,951374, что меньше, чем у модели (19), всего лишь на 0,00005. Иными словами, исключение переменных x₃ и x₇ практически не изменило высокого качества аппроксимации НЛР.

Все коэффициенты регрессии (20) значимы по t-критерию Стьюдента для уровня значимости $\alpha =\mathrm{0,1}$, а минимальный абсолютный вклад в $R^2$ составляет 0,0661 для регрессора $\max \left\{x_4\mathrm{,0.9475}{x}_5\right\}$, что довольно существенно.

Коэффициенты вздутия дисперсии регрессоров НЛР (20) составили 1,035, 1,466 и 1,425 соответственно, откуда следует, что в модели мультиколлинеарности нет.

Таким образом, выполняются все необходимые условия, чтобы считать НЛР (20) вполне интерпретируемой регрессионной моделью.

Представим модель (20) в кусочно-заданной форме:

$\tilde{y}=\left\{\begin{array}{l}\mathrm{12,7415}+\mathrm{0,00001843}{x}_8+\mathrm{0,01083}{x}_1-\mathrm{0,4005}{x}_4,\text{ при }\frac{x_2}{x_8}\ge \mathrm{0,09879,}\frac{x_1}{x_6}\ge \mathrm{0,04633,}\frac{x_4}{x_5}\ge \mathrm{0,9475};\\ \mathrm{12,7415}+\mathrm{0,00001843}{x}_8+\mathrm{0,01083}{x}_1-\mathrm{0,3795}{x}_5,\text{ при }\frac{x_2}{x_8}\ge \mathrm{0,09879,}\frac{x_1}{x_6}\ge \mathrm{0,04633,}\frac{x_4}{x_5}<\mathrm{0,9475};\\ \mathrm{12,7415}+\mathrm{0,00001843}{x}_8+\mathrm{0,000502}{x}_6-\mathrm{0,4005}{x}_4,\text{ при }\frac{x_2}{x_8}\ge \mathrm{0,09879,}\frac{x_1}{x_6}<\mathrm{0,04633,}\frac{x_4}{x_5}\ge \mathrm{0,9475};\\ \mathrm{12,7415}+\mathrm{0,00001843}{x}_8+\mathrm{0,000502}{x}_6-\mathrm{0,3795}{x}_5,\text{ при }\frac{x_2}{x_8}\ge \mathrm{0,09879,}\frac{x_1}{x_6}<\mathrm{0,04633,}\frac{x_4}{x_5}<\mathrm{0,9475};\\ \mathrm{12,7415}+\mathrm{0,0001866}{x}_2+\mathrm{0,01083}{x}_1-\mathrm{0,4005}{x}_4,\text{ при }\frac{x_2}{x_8}<\mathrm{0,09879,}\frac{x_1}{x_6}\ge \mathrm{0,04633,}\frac{x_4}{x_5}\ge \mathrm{0,9475};\\ \mathrm{12,7415}+\mathrm{0,0001866}{x}_2+\mathrm{0,01083}{x}_1-\mathrm{0,3795}{x}_5,\text{ при }\frac{x_2}{x_8}<\mathrm{0,09879,}\frac{x_1}{x_6}\ge \mathrm{0,04633,}\frac{x_4}{x_5}<\mathrm{0,9475};\\ \mathrm{12,7415}+\mathrm{0,0001866}{x}_2+\mathrm{0,000502}{x}_6-\mathrm{0,4005}{x}_4,\text{ при }\frac{x_2}{x_8}<\mathrm{0,09879,}\frac{x_1}{x_6}<\mathrm{0,04633,}\frac{x_4}{x_5}\ge \mathrm{0,9475};\\ \mathrm{12,7415}+\mathrm{0,0001866}{x}_2+\mathrm{0,000502}{x}_6-\mathrm{0,3795}{x}_5,\text{ при }\frac{x_2}{x_8}<\mathrm{0,09879,}\frac{x_1}{x_6}<\mathrm{0,04633,}\frac{x_4}{x_5}<\mathrm{0,9475.}\end{array}\right.$

Тогда НЛР (20) можно интерпретировать следующим образом.

1. Если показатель x₂/x₈ не меньше, чем 0,09879, то на отправление грузов ж/д транспортом y влияет ВРП x₈, а число предприятий и организаций x₂ не влияет. При этом с увеличением ВРП x₈ на 1 млн руб. (при неизменных значениях остальных переменных) y возрастает в среднем на 18,43 тонны. А если показатель x₂/x₈ меньше, чем 0,09879, то на y влияет число предприятий и организаций x₂, а ВРП x₈ не влияет. При этом с увеличением числа предприятий и организаций x₂ на 1 единицу (при неизменных значениях остальных переменных) y возрастает в среднем на 186,6 тонны.
2. Если показатель x₁/x₆ не меньше, чем 0,04633, то на отправление грузов ж/д транспортом y влияет численность рабочей силы x₁, а продукция сельского хозяйства x₆ не влияет. При этом с увеличением численности рабочей силы x₁ на 1 тыс. человек (при неизменных значениях остальных переменных) y возрастает в среднем на 10830 тонн. А если показатель x₁/x₆ меньше, чем 0,04633, то на y влияет продукция сельского хозяйства x₆, а численность рабочей силы x₁ не влияет. При этом с увеличением продукции сельского хозяйства x₆ на 1 млн руб. (при неизменных значениях остальных переменных) y возрастает в среднем на 502 тонны.

Если показатель x₄/x₅ не меньше, чем 0,9475, то на отправление грузов ж/д тран0,9475, то на y влияет удельный вес автодорог с усовершенствованным покрытием x₅, а удельный вес автодорог с твердым покрытием x₄ не влияет. При этом с увеличением уделспортом y влияет удельный вес автодорог с твердым покрытием x₄, а удельный вес автодорог с усовершенствованным покрытием x₅ не влияет. При этом с увеличением удельного веса автодорог с твердым покрытием x₄ на 1 % (при неизменных значениях остальных переменных) y убывает в среднем на 0,4005 млн тонн. А если показатель x₄/x₅ меньше, чем ьного веса автодорог с усовершенствованным покрытием x₅ на 1 % (при неизменных значениях остальных переменных) y убывает в среднем на 0,3795 млн тонн.

Заключение и выводы

Таким образом, для построения НЛР в данной работе сформулирована задача ЧБЛП, позволяющая регулировать абсолютные вклады регрессоров в общую детерминацию и эффект мультиколлинеарности. Показано, что реализация метода последовательного повышения вкладов регрессоров гарантирует построение вполне интерпретируемых НЛР. С помощью предложенного математического аппарата решена задача моделирования ж/д грузовых перевозок Тюменской области. Автоматически полученная НЛР оптимальной структуры является адекватной по всем основным показателям, а также вполне интерпретируемой. Интерпретация модели позволила выявить новые закономерности функционирования ж/д транспорта Тюменской области, недоступные при использовании классических линейных регрессий. Построенная модель также может применяться для прогнозирования.

About the authors

Mikhail P. Bazilevskiy

Author for correspondence.
Email: mik2178@yandex.ru
ORCID iD: 0000-0002-3253-5697

Candidate of Technical Sciences, Associate Professor of the Department of Mathematics

References

Supplementary files