Estimating the parameters of simple nested piecele-linear regression with a linear component
- Authors: Noskov S.I.1
-
Affiliations:
- Irkutsk State Transport University
- Issue: Vol 20, No 1 (2024)
- Pages: 19-21
- Section: MATHEMATICAL MODELING AND INFORMATION TECHNOLOGIES
- URL: https://vestnikugrasu.org/byusu/article/view/630387
- DOI: https://doi.org/10.18822/byusu20240119-21
- ID: 630387
Cite item
Full Text
Abstract
Subject of research: the problem of estimating the parameters of a simple nested piecewise linear regression with a linear component.
Purpose of research: to apply an effective linear-Boolean programming apparatus to solve this problem.
Methods and objects of research: the object of research is the minimization of approximation errors of simple nested piecewise linear regression with a linear component, methods – linear regression analysis and mathematical programming apparatus.
Main results of research: an approach to determining parameter estimates for simple nested piecewise linear regression with a linear component is described using the least modulus method, which allows us to reduce this problem to a linear-Boolean programming problem. A numerical example has been solved.
Full Text
ВВЕДЕНИЕ
При построении регрессионной модели исследуемого объекта характер его функционирования может вызвать необходимость в использовании не какой-либо одной модельной конструкции, а некоей составной, комбинированной ее формы. Так, в работе [1] разработана многовариантная регрессионная модель прогнозирования профиля водной поверхности для различных сложных русел с непризматической поймой. Модели нелинейной регрессии разработаны с использованием соответствующих экспериментальных данных, полученных в ходе лабораторных экспериментов. Было проведено три серии экспериментов для выявления берегового стока в сходящихся поймах. В [2] разнородные регрессионные модели используются для изучения связи между индексом абразивности в горнодобывающей промышленности и гражданском строительстве и химическими соединениями и петрографическими свойствами андезитовых пород центральной части Эквадора. Статья [3] посвящена исследованию общей модели непараметрической регрессии, называемой также составной моделью. В качестве особых случаев она включает в себя разреженную аддитивную регрессию и непараметрическую (или линейную) регрессию со многими ковариатами, но, возможно, с небольшим количеством соответствующих ковариат. Составная модель характеризуется тремя основными параметрами: параметром структуры, описывающим «макроскопическую» форму составной функции, параметром «микроскопической» разреженности, указывающим максимальное количество соответствующих ковариат в каждом компоненте, и обычным параметром гладкости, соответствующим сложности сочленения. При этом определяется неасимптотическая минимаксная скорость сходимости оценок в такой модели, как функция этих трех параметров. Показано, что эта скорость может быть достигнута адаптивным путем. В работе [4] предлагается иерархическая, или многоуровневая, версия регрессионных моделей со структурированным аддитивным предиктором, в которой коэффициенты регрессии конкретной нелинейной составляющей могут зависеть от другой модели регрессии со структурированным аддитивным предиктором. В этом смысле модель состоит из иерархии сложных структурированных моделей аддитивной регрессии. Предложенную модель можно рассматривать как расширенную версию многоуровневой модели с нелинейными ковариатными членами на каждом уровне иерархии. Структура модели также является основой для обобщенного моделирования случайных наклонов, основанного на мультипликативных случайных эффектах. Вывод является полностью байесовским и основан на методах моделирования цепей Маркова. Дается подробное описание нескольких высокоэффективных схем формирования выборки, которые позволяют оценить сложные модели с несколькими уровнями иерархии и большим количеством наблюдений за малое время. В [5] предлагается новая модель нейронной сети ансамблевой свертки на основе регрессии для определения чувствительности лекарств на основе множественных фармацевтических данных и устранения гетерогенности при выборе характеристик для субфармакогеномных параметров. Сеть свертки ансамбля описывает значимость метрик, связанных с т. н. соседскими зависимостями, связанными с отношениями лекарственной терапии. В работе [6] рассматривается новая модель квантильной регрессии, объединяющая несколько наборов несмещенных уравнений. Этот подход может учитывать корреляции между повторными измерениями и давать более эффективные оценки. Поскольку целевая функция является дискретной и невыпуклой, предлагается индуцированное сглаживание для быстрого и точного вычисления оценок параметров, а также их асимптотической ковариации, используя метод Ньютона-Рафсона.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
В работе [7] введены вложенные кусочно-линейные регрессионные модели двух типов:
,
и
yk=max{mini∈I1{αi1 xki},..., mixi∈IG {αiG xki},
maxi∈J1{βi1 xki},...,maxi∈JH{βiH xki}}+εk,k=.
Здесь y – зависимая, а xi – i-ая независимая переменные, k – номер наблюдения, n – длина выборки, индексные множества Ii,i=,Ji,i= являются подмножествами исходного множества номеров независимых переменных {1,2,…,m} и могут иметь непустые попарные пересечения, αij, βij – подлежащие оценке параметры.
В работе [8] решена задача идентификации c помощью метода наименьших модулей (МНМ) параметров простой формы вложенной кусочно-линейной модели:
yk=mix{mini∈I{αi xki},maxi∈J{βi xki}}+εk,|k=.(1)
Эта задача сводится к следующей задаче линейно-булевого программирования (ЛБП):
hk≤αi xki, k = , i∈I,(2)
αi xki – hk≤(1 – ski )M, k = , i∈I,(3)
∑i∈I ski = 1,k = ,(4)
gk≥βi xki, k = , i∈J,(5)
βi xki – gk≥(pki –1)M, k = , i∈J,(6)
∑i∈J pki = 1, k = ,(7)
tk≤hk, k = ,(8)
tk≤gk, k = ,(9)
hk – tk+Mrk≤M, k = 1,n,(10)
gk– tk – Mrk ≤0, k = ,(11)
tk+uk– vk = yk, k = ,(12)
uk ≥ 0,vk ≥ 0,hk≥ 0,gk ≥ 0,tk ≥ 0, k = ,(13)
ski∈{0,1}, k = , i∈I,(14)
pki∈{0,1}, k = , i∈J,(15)
rk∈{0,1}, k = ,(16)
∑kn=1(uk+vk ) → min.(17)
По аналогии с рассмотренной в работе [9] комбинированной кусочно-линейной моделью введем в рассмотрение некоторое расширение модели (1) – простую вложенную кусочно-линейную регрессию с линейной составляющей:
yk= ∑i∈D dixki + mix{mini∈I{αi xki},
maxi∈J{βi xki}} + εk,|k=.(18)
Поставим задачу оценивания параметров модели (18) также с помощью МНМ, т. е. посредством минимизации функции потерь (суммы модулей ошибок аппроксимации):
∑kn=1|εk| → min.(19)
Это может быть сделано путем соответствующей корректировки задачи ЛБП (2)–(17). Действительно, изменим ограничения (12) следующим образом:
∑i∈D di xki + tk +uk – vk = yk,k = .(20)
Скорректируем также целевую функцию (17) с тем, чтобы исключить множественность решений задачи (19), воспользовавшись приемом, описанным в [10]:
∑kn=1(uk+vk ) + δ∑i∈Iγi αi – δ∑i∈Jγi βi → min.(21)
Здесь δ – малая положительная константа, а числа γi отражают масштаб независимых переменных, например, следующим образом:
,
Таким образом, решение задачи (19) сводится к решению задачи ЛБП (2)–(11), (20), (13)–(16), (21).
Рассмотрим численный пример, скорректировав исходные данные из [9] путем изменения значений зависимой переменной:
, .
Поставим задачу оценивания параметров простой вложенной кусочно-линейной регрессии с линейной составляющей:
yk=d0 + d1 xk1 + min{mini∈I{αi xki},
maxi∈J{βi xki}} + εk,k=,(22)
где множества I и J имеют вид:
I = {1,2}, J = {2,3}.
После решения задачи ЛБП (2)–(11), (20), (13)–(16), (21) получим следующие результаты:
yk= –8 + 0.463 +
min{min{4.53xk1,12.7xk2},
max{ 2.27xk2,1.42xk3},
h = (9, 12.7, 27, 13.6),
g = (9, 2.3, 11.3, 18),
t = (9, 12.7, 11.3, 13.6),
.
ЗАКЛЮЧЕНИЕ И ВЫВОДЫ
В работе на основе применения полученных ранее результатов автора описан алгоритмический способ идентификации параметров простой вложенной кусочно-линейной регрессии с линейной составляющей методом наименьших модулей, сводящийся к решению задачи линейно-булевого программирования приемлемой при анализе реальных объектов размерности.
About the authors
Sergey I. Noskov
Irkutsk State Transport University
Author for correspondence.
Email: p_sharova@ugrasu.ru
Doctor of Technical Sciences, Professor
Russian Federation, IrkutskReferences
- Naik B., Khatua K. K. Water Surface Profile Computation for Compound Channels with Narrow Flood Plains // Arabian Journal for Science and Engineering. – 2017. – V. 42. – P. 941–955.
- Torrijo F. J., Garzón-Roca J., Company J., Cobos J. Estimation of Cerchar abrasivity index of andesitic rocks in Ecuador from chemical compounds and petrographical properties using regression analyses // Bulletin of Engineering Geology and the Environment. – 2019. – V. 78. – P. 2331–2344.
- Dalalyan A., Ingster Y., Tsybakov A.B. Statistical inference in compound functional models // Probability Theory and Related Fields. – 2014. – V. 158. – P. 513–532.
- Lang S., Umlauf N., Wechselberger P., Harttgen K., Kneib T. Multilevel structured additive regression // Statistics and Computing. – 2014. – V. 24. – P. 223–238.
- Gadde S., Charkravarthy A. S. N., Satyanarayana S., Murali M. Automatic identification of drug sensitivity of cancer cell with novel regression-based ensemble convolution neural network model // Soft Computing. – 2022. – V. 26. – P. 5399–5408.
- Leng C., Zhang W. Smoothing combined estimating equations in quantile regression for longitudinal data // Statistics and Computing. – 2014. – V. 24. – P. 123–136.
- Носков, С. И. Подход к формализации вложенной кусочно-линейной регрессии / С. И. Носков. – Текст : непосредственный // Международный журнал гуманитарных и естественных наук. – 2023. – № 1–2 (76). – С. 218–220.
- Носков, С. И. Идентификация параметров простой формы вложенной кусочно-линейной регрессии. – Текст : непосредственный // Ученые записки Комсомольского-на-Амуре государственного технического университета. – 2023. – № 3 (67). – С. 57–61.
- Носков, С. И. Идентификация параметров комбинированной кусочно-линейной регрессионной модели / С. И. Носков. – Текст : непосредственный // Вестник Югорского государственного университета. – 2022. – № 4 (67). – С. 115–119.
- Носков, С. И. Уточнение способов идентификации параметров некоторых кусочно-линейных регрессий / С. И. Носков, М. С. Жукова, Т. К. Кириллова, Ю. О. Купитман, А. А. Хоняков. – Текст : непосредственный // Электронный сетевой политематический журнал «Научные труды КубГТУ». – 2023. – № 2. – С. 75–81.