Yugra State University BulletinYugra State University BulletinВестник Югорского государственного университета1816-92282078-9114Yugra State University70522910.18822/byusu202602110-117Mathematical modeling and information technologyМатематическое моделирование и информационные технологииResearch ArticleAdaptive semantically-oriented quantization of deep neural networksАдаптивное семантико-ориентированное квантование глубоких нейронных сетейShaptsevValeriy A.ШапцевВалерий Алексеевич
Russian Federation

Doctor of Engineering Science, Professor of the Information Systems Department

доктор технических наук, профессор Школы компьютерных наук

vashaptsev@ya.ruKhrupinDanila S.ХрупинДанила Станиславович
Russian Federation

Postgraduate student of the Information Systems Department

аспирант Школы компьютерных наук

Khrupin24@mail.ruTyumen State UniversityТюменский государственный университет300620262221101173103202610052026Copyright ©; 2026, Yugra State UniversityCopyright ©; 2026, Югорский государственный университет2026Yugra State UniversityЮгорский государственный университетhttps://creativecommons.org/licenses/by-sa/4.0https://vestnikugrasu.org/byusu/article/view/705229

Subject of research: an algorithm for adaptive semantics-oriented quantization of deep neural networks that ensures the separability of objects with a high degree of visual similarity.

Purpose of research: to develop an adaptive semantics-oriented quantization algorithm with minimal loss of recognition accuracy for objects in hard-to-distinguish classes and a high degree of compression in the digital implementation.

Research methods: numerical analysis of the normalized matrix of identification errors for objects of overlapping classes. Evaluation of the contribution of weight tensors to class separability in feature space to determine the semantic significance of neural network layers. Heterogeneous distribution of the bit depth of weight coefficients and intermediate activations based on estimates of the cumulative sensitivity curve parameters. Quantization-Aware Training procedure with selective freezing of detection layers.

Objects of research: methods for compressing deep neural networks in computer vision.

Research findings: a heterogeneous bit-depth distribution, preserving the FP32 (32-bit floating-point) format only for 29 % of semantically significant layers, allows maintaining recognition accuracy (Mean Average Precision, mAP@0.5) at 98.6 % of the accuracy of the baseline, unquantized model. The method proposed in this work, tested on the YOLOv8n architecture, achieves a 2.78-fold compression of the FP32 model. Furthermore, for hard-to-distinguish objects, it outperforms the standard PTQ (Post-Training Quantization) and the homogeneous approach QAT (Quantization-Aware Training) in terms of recall (the proportion of correctly detected objects of a given class) and the F1 score (the harmonic mean of precision and recall, in the range [0, 1]).

Предмет исследования: алгоритм адаптивного семантико-ориентированного квантования глубоких нейросетей, обеспечивающий разделимость объектов, имеющих высокую степень визуального сходства.

Цель исследования: разработка алгоритма адаптивного семантико-ориентированного квантования с минимальной потерей точности распознавания объектов трудноразличимых классов и высокой степенью компрессии цифровой реализации.

Методы исследования: численный анализ нормализованной матрицы ошибок идентификации объектов пересекающихся классов. Оценка вклада тензоров весов в разделимость классов в пространстве признаков для определения семантической значимости слоёв нейросети. Гетерогенное распределение разрядности весовых коэффициентов и промежуточных активаций по оценкам параметров кривой кумулятивной чувствительности. Процедура обучения Quantization-Aware Training с селективной фиксацией слоёв детекции.

Объекты исследования: способы компрессии глубоких нейронных сетей компьютерного зрения.

Основные результаты исследования: гетерогенное распределение разрядности с сохранением формата FP32 (Floating Point 32 бита с плавающей запятой) лишь для 29 % семантически значимых слоёв позволяет удержать точность распознавания (mean Average Precision, mAP@0,5) на уровне 98,6 % от точности базовой, неквантованной модели. Предложенный в работе метод, апробированный на архитектуре YOLOv8n, обеспечивает сжатие модели FP32 в 2,78 раза. При этом на трудноразличимых объектах имеет место превосходство над стандартным подходом PTQ (Post-Training Quantization) и гомогенным QAT (Quantization-Aware Training, обучение с квантованием) по полноте (Recall – доля верно обнаруженных объектов данного класса) и F1-мере (среднее гармоническое точности и полноты в интервале [0,1]).

neural network quantizationmixed precisionYOLOv8QATPTQsemantic significancemathematical formalizationhard-to-distinguish objectsквантование нейронных сетейсмешанная точностьYOLOv8QATPTQсемантическая значимостьматематическая формализациятрудноразличимые объектыХрупин, Д. С. Метод квантования нейронных сетей обнаружения на встраиваемых системах / Д. С. Хрупин, В. А. Шапцев // Научный результат. Информационные технологии. – 2025. – Т. 10, № 4. – С. 72–78.A survey of quantization methods for efficient neural network inference / A. Gholami, S. kim, Z. Dong [et al.] // Low-power computer vision. – London : Chapman and Hall/CRC, 2022. – P. 291–326.Bochkovskiy, A. YOLOv4: Optimal Speed and Accuracy of Object Detection / A. Bochkovskiy, C. Y. Wang, H. Y. M. Liao // arXiv. – URL: https://arxiv.org/abs/2004.10934 (date of access: 20.03.2026).BRECQ: Pushing the limit of post-training quantization by block reconstruction / Y. Li, R. Gong, X. Tan [et al.] // arXiv. – URL: https://arxiv.org/abs/2102.05426 (date of access: 20.03.2026).Data-free quantization through weight equalization and bias correction / M. Nagel, M. van Baalen, T. Blankevoort, M. Welling // Proceedings of the IEEE/CVF international conference on computer vision. – Seoul, Korea (South), 2019. – P. 1325–1334.Distance-IoU loss: Faster and better learning for bounding box regression / Z. Zheng, P. Wang, W. Liu [et al.] // Proceedings of the AAAI conference on artificial intelligence. – 2020. – Vol. 34, № 7. – P. 12993–13000.Explore Ultralytics YOLOv8 – Ultralytics YOLO Docs // ultralytics. – URL: https://docs.ultralytics.com/models/yolov8/ (date of access: 24.02.2026).Fisher-aware Quantization for DETR Detectors with Critical-category Objectives / H. Yang, Y. Huang, Z. Dong [et al.] // arXiv. – URL: https://arxiv.org/abs/2407.03442 (date of access: 20.03.2026).Focal loss for dense object detection / T. Y. Lin, P. Goyal, R. Girshik [et al.] // Proceedings of the IEEE international conference on computer vision. – Venice, Italy, 2017. – P. 2980–2988.Generalized focal loss: Learning qualified and distributed bounding boxes for dense object detection / X. Li, W. Wang, L. Wu [et al.] // Advances in neural information processing systems. – 2020. – Vol. 33. – P. 21002–21012.HAWQ: Hessian aware quantization of neural networks with mixed-precision / Z. Dong, Z. Yao, A. Gholami [et al.] // Proceedings of the IEEE/CVF international conference on computer vision. – Seoul, Korea (South), 2019. – С. 293-302.HAWQ-V2: Hessian aware trace-weighted quantization of neural networks / Z. Dong, Z. Yao, Y. Cai [et al.] // Advances in neural information processing systems. – 2020. – Vol. 33. – P. 18518–18529.MIO-TCD: A new benchmark dataset for vehicle classification and localization / Z. Luo, C. Lemarie, S. Li [et al.] // IEEE Transactions on Image Processing. – 2018. – Vol. 27, № 10. – P. 5129–5141.PyTorch: An imperative style, high-performance deep learning library / A. Paszke, S. Gross, F. Massa [et al.] // Advances in neural information processing systems. – 2019. – Vol. 32. – P. 1–12.QReg: On Regularization Effects of Quantization / M. H. AskariHemmat, R. A. Hemmat, A. Hoffman [et al.] // arXiv. – URL: https://arxiv.org/abs/2206.12372 (date of access: 20.03.2026).Quantization and training of neural networks for efficient integer-arithmetic-only inference / B. Jacob, S. Kligys, B. Chen [et al.] // Proceedings of the IEEE conference on computer vision and pattern recognition. – Salt Lake City, 2018. – P. 2704–2713.Reg-ptq: Regression-specialized post-training quantization for fully quantized object detector / Ding Y. et al. // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. – Seattle, 2024. – P. 16174–16184.The pascal visual object classes (voc) challenge / M. Everingham, L. Van Gool, Ch. K. I. Williams [et al.] // International journal of computer vision. – 2010. – Vol. 88, № 2. – P. 303–338.ZeroQ: A novel zero shot quantization framework / Y. Cai,Z. Yao, Z. Dong [et al.] // Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. – Seattle, 2020. – P. 13169–13178.