Development and research of a data preprocessing system LM2-REC for recommendation systems

Full Text

ВВЕДЕНИЕ

Рекомендательные системы стали неотъемлемой частью современной цифровой инфраструктуры, играя важную роль в персонализации пользовательского опыта взаимодействия с различными цифровыми системами. Главной целью данных систем является подбор для пользователя наиболее интересного ему объекта или данных, которые наиболее схожи с тем, что интересует пользователя. Для выполнения данной задачи система должна быть обучена на большом объеме качественных данных. Для достижения этого используются различные методы предобработки данных. Наиболее ранними подходами для выполнения данной задачи являлись методы дата-майнинга [6], которые включают удаление дубликатов, очистку данных от шума, уплотнение данных и другие. Со временем данные системы начали включать в себя более сложные подходы работы с данными, как, например, методы глубокого обучения [9], такие как нейронная коллаборативная фильтрация [13] (NCF), сверточные нейронные сети [9] (CNN) и рекуррентные нейронные сети [16] (RNN). Это было необходимо для того, чтобы адаптировать предобработку данных для работы с более сложными и обширными данными, которые могут быть получены от пользователя.

В рамках данного исследования будет рассмотрен метод предобработки данных, который использует комбинированный подход с применением нейронных сетей LSTM [8] и LLM [10]. Сеть LSTM выполняет функцию извлечения категории предпочтений пользователя, а именно более широкий показатель, который позволяет определить, в какой области данных находится следующий объект, интересный пользователю, а LLM позволяет извлечь скрытую семантику [4] из данных пользователя, которая позволяет лучше понять то, что хотел бы получить пользователь.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

В начале разработки данной системы были выделены ключевые аспекты работы процесса предобработки, которые на основании анализа существующих работ должны помочь достичь наибольшего прироста качества данных, а именно выделение целевых тематик пользователя, которые интересуют его больше всего, и максимальное использование семантической информации, которую можно получить из текстовых данных пользователя (таблица 1).

 

Таблица 1. Текстовое описание пунктов извлечения

Поле	Описание	Ценность для рекомендательной системы
raw_text	Исходный текст без изменений	Для аудита, переобучения и сравнения качества обработки
clean_text	Нормализованный текст	Используется при поисковой индексации
language	Определённый язык текста (ISO-код)	Позволяет направлять отзывы в мультиязычные методы
rating	Явная или неявная оценка	Позволяет моделировать предпочтения пользователя
sentiment	Общий эмоциональный тон с численным скором	Используется для вычисления скрытого рейтинга
aspects	Ключевые аспекты, к которым относится мнение	Основной источник признаков для персонализированных рекомендаций
intent	Намерение пользователя	Позволяет отличать обратную связь от намерений, действий
entities	Именованные сущности	Связь отзывов с конкретными товарами и характеристиками
numbers	Извлечённые количественные значения	Цифровые признаки, полезные при анализе закономерностей
emotion	Базовая эмоция пользователя	Улучшает объяснимость рекомендаций
actions	Определённые действия пользователя	Для автоматизации обратной связи и приоритизации поддержки
pii	Индикатор наличия персональных данных	Обеспечивает приватность и фильтрацию перед сохранением
toxicity	Уровень токсичности текста	Для фильтрации оскорбительных отзывов
confidence_overall	Общая уверенность модели в правильности извлечения	Позволяет ранжировать надёжность анализа
generated_at	Время генерации результатов	Обеспечивает версионность и отслеживаемость предобработки

 

На первом этапе работы системы исходные текстовые данные пользователя поступают в локально развернутую LLM, данные используются как контекст к специально подобранному промпту [14], по инструкциям которого система извлекает из каждого объекта структурированный JSON в заранее заданном формате, который является унифицированным для всей системы. Затем подготовленные данные поступают на вход энкодера paraphrase-multilingual-MiniLM-L12-v2 (библиотека sentence-transformers), который преобразует каждое текстовое представление в векторное пространство эмбеддингов размерностью 384 [1]. Данная модель относится к семейству лёгких многоязычных энкодеров на основе архитектуры MiniLM и обладает высокой скоростью работы при умеренном объёме потребляемой памяти, что делает её применимой в промышленных пайплайнах без существенных вычислительных затрат. Это позволяет перейти от текстовых данных к численно интерпретируемым признакам, сохраняющим семантические зависимости между словами и контекстами, и обеспечивать дальнейшую совместимость с классическими моделями машинного обучения и нейронными сетями.

На следующем этапе полученные векторы эмбеддингов передаются в LSTM-сеть, предназначенную для извлечения категориальных и последовательных признаков, отражающих латентные зависимости [2] между отзывами одного пользователя или группы пользователей. Архитектура разработанной LSTM была выполнена на основе экспериментов на реальных данных с учетом того, что данная сеть должна обеспечивать хорошую результирующую метрику точности предсказания, а также быть достаточно небольшой, чтобы компенсировать временные потери, которые могут быть внесены работой LLM. Модель LSTM обучается на задаче предсказания категориальных меток, соответствующих ключевым тематическим направлениям интереса пользователя.

Архитектура LSTM включает три последовательных слоя с размерностями скрытого состояния 128, 64 и 32 нейрона соответственно, с применением Dropout (коэффициент 0,2) после каждого слоя, выходным слоем Dense (32, ReLU) и финальным классификационным слоем Dense(7, Softmax). Обучение проводилось с размером батча 32 и продолжительностью 15 эпох; в режиме few-shot максимальная длина входного текста ограничивалась 2 000 символов. В качестве LLM-компонента для структурированного извлечения признаков применялась модель google/flan-t5-base (seq2seq-архитектура, около 250 млн параметров), развёрнутая локально; длина генерируемого ответа ограничивалась 128 токенами. Обучающая выборка составила 10 000 записей, случайно отобранных из набора данных Amazon Reviews Multi (английская версия, random_state=42). Все эксперименты проводились на следующей аппаратной платформе: процессор Intel Core i5-14400, оперативная память 32 ГБ DDR5 6000 МГц, видеокарта NVIDIA GeForce RTX 5060 Ti 16 ГБ.

Эффективность разработанного метода предобработки данных для рекомендательных систем была проверена с помощью комбинированного подхода, включающего сравнительный анализ с базовыми методами и специализированные эксперименты в условиях ограниченных данных. В качестве тестовой базы использовался популярный общедоступный набор данных Amazon reviews dataset [7], содержащий текстовые отзывы пользователей с соответствующими рейтингами.

Для комплексной оценки качества работы метода применялся набор метрик, включающий Accuracy, Precision, Recall и F1-Score [5]. Отдельно были проведены оценки эффективности разработанного метода в условиях few-shot [5] обучения. Для этого проводилась серия экспериментов с постепенным уменьшением размера обучающей выборки от 500 до 50 примеров, что позволяет оценить устойчивость метода к дефициту данных.

Для начала рассмотрим полноту извлечения данных с использованием LLM, в качестве метрики полноты извлечения будем проверять количество непустых полей после обработки текстового отзыва пользователя по основным пунктам извлечения на полном тестовом наборе данных (см. рисунок 1).

 

Рисунок 1. График полноты выделения целевых параметров

 

Системы, которые используют локальные LLM, сталкиваются с проблемой неполного выделения, это связано с ограниченными возможностями для обработки текстовых данных и малым контекстом. Как можно заметить по рисунку, полнота извлечения в данном случае имеет высокие показатели по всем выбранным ключевым полям, что говорит о хорошо разработанном промпте для использования в сочетании с локальной LLM.

В качестве базовых методов сравнения были выбраны классические подходы к обработке текстовых данных: TF-IDF [15] с логистической регрессией (LR), эмбеддинги с логистической регрессией и эмбеддинги со случайным лесом (RF) [3]. Данные методы представляют собой наиболее популярные методы предобработки, часто встречающиеся в готовых фреймворках (таблица 2).

 

Таблица 2. Сравнительная таблица результатов работы алгоритмов

Метод	Accuracy	Precision	Recall	F1-score	Время, с
TF-IDF + LR	0,8265	0,8271	0,8265	0,8262	0,75
Embeddings + LR	0,9385	0,9385	0,9385	0,9385	19,46
Embeddings + RF	0,8620	0,8623	0,8620	0,8619	3,47
LM2-Rec	0,9185	0,9180	0,9161	0,9170	2,87

 

По результатам подсчета метрик на выбранном датасете мы видим, что разработанный метод предоставляет баланс между скоростью обработки и конечными метриками. Относительно метрик подход с использованием сочетания эмбеддингов и логистической регрессии достигает более высоких метрик качества в задаче предсказания категории, которая будет интересна пользователю, но превышает по времени разработанный подход в пять раз. Рассмотрим поведение разработанного в сценарии few-shot обучения, на количестве примеров от 50 до 1000 (таблица 3). Необходимо уточнить методологию измерения времени: значения в таблице 2 соответствуют времени инференса каждого метода на тестовой выборке без учёта начальной загрузки весов моделей в оперативную память. Среднее время загрузки всех компонентов системы LM2-Rec (LLM и энкодер) в память составляет 4,1–5,5 секунд и выполняется однократно перед началом обработки.

 

Таблица 3. Сравнительная таблица результатов в few-shot сценарии

Сценарий	Accuracy	Precision	Recall	F1-score
Few-shot (50)	0,9502	0,9502	0,9502	0,9502
Few-shot (100)	0,9532	0,9532	0,9532	0,9532
Few-shot (200)	0,9434	0,9434	0,9434	0,9434
Few-shot (500)	0,9534	0,9534	0,9534	0,9534

 

Как можно заметить по данной таблице, разработанный подход обеспечивает стабильные параметры точности с небольшим снижением показателей метрик на малых наборах данных. Это говорит о том, что полученный метод способен обеспечить стабильное поведение процесса предобработки данных в сценарии, когда данных достаточно мало. Совпадение значений Accuracy, Precision, Recall и F1-score до четвёртого знака после запятой обусловлено применением взвешенного усреднения метрик в сочетании со сбалансированным распределением классов в тестовой выборке. При данных условиях взвешенные значения всех четырёх метрик аналитически сходятся, что является ожидаемым результатом для сбалансированных задач многоклассовой классификации.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

На основании проведенного анализа и сравнительного исследования можно заключить, что разработанный подход к задаче предобработки данных для рекомендательной системы демонстрирует временные характеристики, сравнимые с более легковесными методами, в то же самое время обеспечивая высокие метрики в качестве предсказания категориальных признаков. Полученные результаты подтверждают эффективность предложенного метода, демонстрируя его способность обеспечивать высокое качество выделения полезных семантик при оптимизации временных и вычислительных затрат. Таким образом, разработанный подход является перспективным инструментом для задач предобработки текстовых данных.

About the authors

Alyona A. Zamyshlyaeva

South Ural State University (National Research University)

Email: zamyshliaevaaa@susu.ru

Doctor of Physics and Mathematics, Professor, Director of the Institute of Natural Sciences and Mathematics

Russian Federation, Chelyabinsk

Artem L. Kim

South Ural State University (National Research University)

Author for correspondence.
Email: ar.kim@mail.ru

Postgraduate student at the Institute of Natural and Exact Sciences

Russian Federation, Chelyabinsk

References

Supplementary files