Yugra State University BulletinYugra State University BulletinВестник Югорского государственного университета1816-92282078-9114Yugra State University70195610.18822/byusu20260153-58Mathematical modeling and information technologyМатематическое моделирование и информационные технологииResearch ArticleApplication of a multimodel data processing pipeline for solving the video lecture scene segmentation problemПрименение многомодельного конвейера обработки данных для решения задачи разграничения сцен видеолекцииIsmagulovMilan E.ИсмагуловМилан Ерикович
Russian Federation

3-year postgraduate student in the field of "System Analysis, Management and Information Processing, Statistics", Engineering School of Digital Technologies

аспирант 3 года обучения направления «Системный анализ, управление и обработка информации, статистика», Инженерная школа цифровых технологий

m_ismagulov@ugrasu.ruYugra State UniversityЮгорский государственный университет3003202622153582801202605022026Copyright ©; 2026, Yugra State UniversityCopyright ©; 2026, Югорский государственный университет2026Yugra State UniversityЮгорский государственный университетhttps://creativecommons.org/licenses/by-sa/4.0https://vestnikugrasu.org/byusu/article/view/701956

Subject of research: the set of methods and models of machine learning and artificial intelligence in the field of computer vision that ensure the analysis and processing of video lectures as multimodal data sources.

Purpose of research: to develop and substantiate an approach to solving the non-trivial problem of segmenting a video lecture into scenes, each corresponding to a unique frame that reflects textual content at a specific stage of material presentation, with the aim of subsequent processing of the obtained results using optical character recognition methods.

Research methods: the primary research method is the decomposition of a video lecture as a multimodal object into individual modalities, followed by data analysis based on a multimodel data processing pipeline.

Objects of research: within the scope of this paper, the objects of the study are video lectures of three main types, serving as sources of multimodal data for analysis and processing.

Research findings: a multimodel data processing pipeline has been developed and substantiated for each of the identified types of video lectures. An evaluation of the applied models was conducted, and their influence on the formation of the final processing results was analyzed.

Предмет исследования: совокупность методов и моделей машинного обучения и искусственного интеллекта в области компьютерного зрения, обеспечивающих анализ и обработку видеолекций как мультимодальных источников данных.

Цель исследования: разработка и обоснование подхода к решению нетривиальной задачи разграничения видеолекции на сцены, каждая из которых соответствует уникальному кадру, отражающему текстовое содержимое на определённом этапе изложения материала, с целью последующей обработки полученных результатов методами оптического распознавания символов.

Методы исследования: в качестве основного метода исследования используется метод декомпозиции видеолекции как мультимодального объекта на отдельные модальности с последующим анализом данных на основе многомодельного конвейера обработки.

Объекты исследования: в рамках данной статьи объектами исследования являются видеолекции трёх основных типов, выступающие источниками мультимодальных данных для анализа и обработки.

Основные результаты исследования: разработан и обоснован многомодельный конвейер обработки данных для каждого из выделенных типов видеолекций. Проведена оценка применяемых моделей, а также проанализировано их влияние на формирование итоговых результатов обработки.

multimodal data processingvideo lecturecomputer visionmultimodel pipelinemodality decompositionvideo data analysisoptical character recognitionimage processingmachine learningartificial intelligenceмультимодальная обработка данныхвидеолекциякомпьютерное зрениемногомодельный конвейердекомпозиция модальностейанализ видеоданныхоптическое распознавание символовобработка изображениймашинное обучениеискусственный интеллектЖукова, И. В. Искусственный интеллект для объяснения моделей здравоохранения / И. В. Жукова ; науч. рук. С. В. Ковальчук // Сборник тезисов докладов конгресса молодых ученых. – Санкт-Петербург : Университет ИТМО, 2020. – URL: https://kmu.itmo.ru/digests/article/3397 (дата обращения: 14.10.2025).Исмагулов, М. Е. Нейросетевая модель темпорального объединения кадров видеолекции для решения задачи реконструкции изображения / М. Е. Исмагулов, А. В. Мельников // Материалы XXII Конференции искусственного интеллекта с международным участием (RCAI-2025). – Москва, 2025. – С. 74–84.A Closer Look into Recent Video-based Learning Research: A Comprehensive Review of Video Characteristics, Tools, Technologies, and Learning Effectiveness / E. Navarrete, A. Nehring, S. Schanze [et al.] // International Journal of Artificial Intelligence in Education. – 2025. – Vol. 35. – P. 1631–1694.A machine learning approach for multimodal data fusion for survival prediction in cancer patients / N. Nikolaou, D. Salazar, H. RaviPrakash [et al.] // Precision Oncology. – 2025. – Vol. 9, № 1. – P. 128.AI-Based Educational Video Summarization / S. Choudhury, M. N. Sharma, R. Sharma [et al.] // ShodhKosh: Journal of Visual and Performing Arts. – 2025. – Vol. 6, № 2s. – P. 272–280.Automatically Generated Summaries of Video Lectures / H. Gonzalez, H. Jin, R. Baker [et al.] // Proceedings of the 2023 Workshop on Natural Language Generation, Evaluation, and Metrics (BEA). – 2023. – P. 1–12.Explore Ultralytics YOLOv8 // Ultralytics. – URL: https://docs.ultralytics.com/models/yolov8/ (date of application: 10.01.2026).Lee, M. J. Video Summarization with Large Language Models / M. J. Lee, D. Gong, M. Cho // 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR): proceedings. – Piscataway : IEEE, 2025. – P. 18981–18991.LongVideoAgent: Multi-Agent Reasoning with Long Videos / R. Liu, Z. Liu, J. Tang [et al.] // arXiv. – 2025. – URL: https://arxiv.org/abs/2512.20618 (date of application: 10.01.2026).Multimodal Speech Summarization through Semantic Concept Learning / S. Palaskar, R. Salakhutdinov, A. W. Black, F. Metze // INTERSPEECH 2021: proceedings of the Conference (30 August – 3 September 2021, Brno, Czechia). – Brno : ISCA, 2021. – P. 791–795.Multi-model pipelines // The Apache Software Foundation. – URL: https://beam.apache.org/documentation/ml/multi-model-pipelines/ (date of application: 10.01.2026).Shambour, Q. Y. From Data to Diagnosis: Knowledge-Driven, Explainable AI for Reliable Early Autism Detection / Q. Y. Shambour, M. M. Al-Zyoud, A. H. Hussein // Interdisciplinary Journal of Information, Knowledge, and Management. – 2025. – Vol. 20. – P. 32–53.Takeuchi, M. Selection of key sentences from lecture video transcription and its application to feedback to the learner / M. Takeuchi, A. Ito, T. Nose // Proc. of the 8th International Conference on Education and Multimedia Technology ICEMT’2024. – Tokyo, Japan, 2024. – P. 22–24.Use multiple models in pipelines // Google Cloud. – URL: https://docs.cloud.google.com/dataflow/docs/machine-learning/ml-multi-model (date of application: 10.01.2026).Using LLM-supported lecture summarization system to improve knowledge recall and student satisfaction / T. Xie, Y. Kuang, Y. Tang [et al.] // Expert Systems with Applications. – 2025. – Vol. 269. – P. 126371.