Yugra State University BulletinYugra State University BulletinВестник Югорского государственного университета1816-92282078-9114Yugra State University70646310.18822/byusu20260271-76Mathematical modeling and information technologyМатематическое моделирование и информационные технологииResearch ArticleDevelopment and research of a data preprocessing system LM2-REC for recommendation systemsРазработка и исследование системы предобработки данных LM2-REC для рекомендательных системZamyshlyaevaAlyona A.ЗамышляеваАлёна Александровна
Russian Federation

Doctor of Physics and Mathematics, Professor, Director of the Institute of Natural Sciences and Mathematics

доктор физико-математических наук, профессор, директор Института естественных и точных наук

zamyshliaevaaa@susu.ruKimArtem L.КимАртём Леонидович
Russian Federation

Postgraduate student at the Institute of Natural and Exact Sciences

аспирант Института естественных и точных наук

ar.kim@mail.ruSouth Ural State University (National Research University)Южно-Уральский государственный университет (Национальный исследовательский университет)3006202622271762004202609052026Copyright ©; 2026, Yugra State UniversityCopyright ©; 2026, Югорский государственный университет2026Yugra State UniversityЮгорский государственный университетhttps://creativecommons.org/licenses/by-sa/4.0https://vestnikugrasu.org/byusu/article/view/706463

Subject of research: methods for preprocessing textual data in recommender systems based on the integration of large language models (LLMs) and recurrent neural networks.

Purpose of research: to develop and validate the LM2-Rec data preprocessing method that extracts an expanded set of semantic and categorical features from user-generated text.

Research methods: semantic analysis using a locally deployed LLM, text vectorization via a MacBERT encoder, training of an LSTM recurrent neural network for categorical feature prediction, comparative analysis against baseline methods (TF-IDF with logistic regression, embeddings with logistic regression and random forest), and a series of few-shot learning experiments.

Objects of research: the LM2-Rec data preprocessing system comprising a pipeline of a local LLM, a MacBERT encoder, and an LSTM network; the Amazon Reviews Dataset of textual user reviews.

Research findings: the LM2-Rec method achieves an F1-Score of 0.9170 with a processing time of 2.87 s, which is five times faster than the embeddings-with-logistic-regression baseline. In few-shot learning scenarios (50–500 examples), the method maintains consistently high accuracy (F1-Score above 0.95), confirming its robustness under limited-data conditions. The LLM-based extraction of semantic features yields a completeness rate exceeding 90 % across all key fields.

Предмет исследования: методы предобработки текстовых данных для рекомендательных систем на основе комбинации больших языковых моделей (LLM) и нейронной сети LSTM.

Цель исследования: разработка и проверка эффективности метода предобработки текстовых данных LM2-Rec, обеспечивающего извлечение широкого набора семантических и категориальных признаков.

Методы исследования: семантический анализ с применением локальной LLM, векторизация текста с использованием энкодера paraphrase-multilingual-MiniLM-L12-v2, обучение нейронной сети LSTM для предсказания категориальных признаков, сравнительный анализ с базовыми методами (TF-IDF, эмбеддинги с логистической регрессией и случайным лесом), а также эксперименты в few-shot сценарии.

Объекты исследования: система предобработки данных LM2-Rec, включающая комбинацию обработок на основе локальной LLM, энкодера paraphrase-multilingual-MiniLM-L12-v2 и LSTM-сети; набор текстовых данных Amazon Review Dataset.

Основные результаты исследования: разработан метод LM2-Rec, обеспечивающий F1-Score 0,9170 при скорости обработки 2.87 с, что в 5 раз быстрее подхода «эмбеддинги + логистическая регрессия». В сценарии few-shot обучения (50–500 примеров) метод показывает стабильно высокую точность (F1-Score 0,95+), подтверждая эффективность в условиях малых данных. Полнота LLM-извлечения семантических признаков составляет свыше 90 % по всем ключевым полям.

computer sciencedata preprocessingneural networksLSTMLLMrecommender systemsкомпьютерные наукипредобработка данныхнейронные сетиLSTMLLMрекомендательные системыAttention is all you need / A. Vaswani, N. Shazeer, N. Parmar [et al.] // Advances in Neural Information Processing Systems. – 2017. – Vol. 30. – P. 5998–6008.Bengio, Y. Representation learning: A review and new perspectives / Y. Bengio, A. Courville, P. Vincent // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2013. – Vol. 35, № 8. – P. 1798–1828.Biau, G. A random forest guided tour / G. Biau, E. Scornet // TEST. – 2016. – Vol. 25, № 2. – P. 197–227.Efficient estimation of word representations in vector space / T. Mikolov, K. Chen, G. Corrado, J. Dean // Proceedings of the International Conference on Learning Representations (ICLR 2013) (Scottsdale, Arizona, USA, May 2–4, 2013). – Scottsdale, 2013. – P. 1–12.Generalizing from a few examples: A survey on few-shot learning / Y. Wang, Q. Yao, J. T. Kwok, L. M. Ni // ACM Computing Surveys. – 2020. – Vol. 53, № 3. – P. 1–34.Han, J. Data mining: concepts and techniques / J. Han, M. Kamber, J. Pei. – 3rd ed. – Waltham : Morgan Kaufmann, 2012. – 703 p.He, R. Ups and downs: Modeling the visual evolution of fashion trends with one-class collaborative filtering / R. He, J. McAuley // Proceedings of the 25th International Conference on World Wide Web (WWW’16) (Montreal, Canada, April 11–15, 2016). – New York : ACM, 2016. – P. 507–517.Hochreiter, S. Long short-term memory / S. Hochreiter, J. Schmidhuber // Neural Computation. – 1997. – Vol. 9, № 8. – P. 1735–1780.Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G. E. Hinton // Advances in Neural Information Processing Systems. – 2012. – Vol. 25. – P. 1097–1105.Language models are few-shot learners / T. B. Brown, B. Mann, N. Ryder [et al.] // Advances in Neural Information Processing Systems. – 2020. – Vol. 33. – P. 1877–1901.LeCun, Y. Deep learning / Y. LeCun, Y. Bengio, G. Hinton // Nature. – 2015. – Vol. 521. – P. 436–444.Llama: Open and efficient foundation language models / H. Touvron, T. Lavril, G. Izacard [et al.] // arXiv preprint. – 2023. – URL: https://arxiv.org/abs/2302.13971 (date of access: 15.12.2025).Neural collaborative filtering / X. He, L. Liao, H. Zhang [et al.] // Proceedings of the 26th International Conference on World Wide Web (WWW’17) (Perth, Australia, April 3–7, 2017). – New York : ACM, 2017. – P. 173–182.Pre-train, prompt, and predict: A systematic survey of prompting methods in natural language processing / P. Liu, W. Yuan, J. Fu [et al.] // ACM Computing Surveys. – 2023. – Vol. 55, № 9. – P. 1–35.Qaiser, S. Text mining: use of TF-IDF to examine the relevance of words to documents / S. Qaiser, R. Ali // International Journal of Computer Applications. – 2018. – Vol. 181, № 1. – P. 25–29.Sherstinsky, A. Fundamentals of recurrent neural network (RNN) and long short-term memory (LSTM) network / A. Sherstinsky // Physica D: Nonlinear Phenomena. – 2020. – Vol. 404. – P. 132306.Sokolova, M. A systematic analysis of performance measures for classification tasks / M. Sokolova, G. Lapalme // Information Processing and Management. – 2009. – Vol. 45, № 4. – P. 427–437.