Adaptive semantically-oriented quantization of deep neural networks

Full Text

ВВЕДЕНИЕ

Использование глубоких нейронных сетей в системах реального времени на граничных устройствах сопряжено с жёсткими ограничениями по объёму памяти и вычислительной мощности. Квантование – снижение разрядности весов и активаций – является стандартом де-факто для компрессии цифровых моделей [2]. Однако существующие методы (PTQ, QAT), ориентированные на минимизацию среднеквадратичной ошибки тензоров или функции потерь, часто игнорируют семантику целевого множества объектов [1]. За семантику объекта нами принята совокупность пиксельных данных цифрового отображения, отражающая характерные для соответствующего класса визуальные признаки.

В задачах детектирования транспортных средств это приводит к падению точности (до 20 %) распознавания объектов визуально схожих классов. При этом значение метрики mAP (mean Average Precision) по датасету может оставаться приемлемым [8].

Ниже представлен результат исследования оригинального способа квантования, названного нами Semantically-oriented Mixed Precision Quantization (SMPQ). В отличие от эвристических подходов, основанных на чувствительности к шуму квантования [5], SMPQ использует семантическую метрику (см. ниже), определяющую вклад каждого слоя нейросети в разделимость «конфликтующих» классов.

Сравниваемые в работе методы относятся к трём базовым схемам цифрового представления параметров:

- FP32 – базовое 32-битное представление весов и активаций с плавающей запятой, используется как эталон точности;

- INT8 PTQ – пост-тренировочное квантование обученной FP32-модели в 8-битное целочисленное представление по калибровочной выборке;

- INT8 QAT – обучение с имитацией ошибок квантования. В граф вводятся модули FakeQuantize, которые в прямом проходе округляют значения до целевой разрядности, в обратном пропускают градиент, что позволяет адаптировать веса к шуму квантования.

Для адаптивного выбора разрядности развит ряд подходов на основе анализа локальной чувствительности параметров:

- HAWQ [11] и HAWQ-V2 [12] используют верхнее собственное число и след гессиана функции потерь по весам слоя как меру чувствительности;

- BRECQ [4] минимизирует блочную ошибку реконструкции, аппроксимируя гессиан диагональю информации Фишера;

- ZeroQ [19] генерирует калибровочные данные без доступа к обучающей выборке;

- Fisher-aware квантование [8] адаптирует разрядность по диагонали матрицы Фишера с акцентом на критические категории.

Перечисленные методы оперируют локальными характеристиками тензора весов или функции потерь и не используют структуру межклассовых ошибок выходного пространства модели. Предлагаемый метод SMPQ опирается на нормализованную матрицу ошибок и идентификацию критических пар классов, тем самым переводя оценку значимости слоя из пространства параметров в пространство решений классификатора.

РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ

1. Описание метода SMPQ

1.1. Идентификация критических классов

Мы вводим понятие «критическая пара классов», смешение (сходство объектов) которых выше заданного порога.

Проводится количественная оценка ошибочной классификации всех транспортных средств в виде матрицы ошибок CM ∈ R^K×K, где R – множество вещественных чисел, K – число классов, на валидационном наборе данных $D_{val}=\left\{{\left(x_n, y_n\right)}_{n=1}^{N_{val}}\right\}$ посредством исходной FP32-модели детектирования. Здесь x_n– входное изображение, y_n – метка класса, N_val – число пар «изображение – метка».

Пусть y ∈ {0,…, K–1} – метка класса, y ̂(x) – метка, предсказанная моделью по изображению х. Элемент CM_ij матрицы ошибок равен числу объектов класса i, отнесённых моделью к классу j при условии пространственно корректной детекции:

$C{M}_{ij}=\left|\left\{\left(x, y\right)\in D_{val}: \left(y=i\right)\wedge \left(\widehat{y}\left(x\right)=j\right)\wedge \left(IoU\left(B_{pred}, B_{gt}\right)\ge T_{IoU}\right)\right\}\right|,$ (1)

$i,j=\mathrm{0,} \mathrm{1,} \dots , K-1$,

где |{…}| – мощность множества, ∧ – конъюнкция, IoU(B_pred, B_gt) – метрика Intersection over Union, отображающая степень перекрытия предсказанного B_pred и истинного B_gt образов объектов (bounding box). В простейшем случае – прямоугольных областей (в 2-мерный вариант образов), задаваемых координатами противоположных вершин (x_min, y_min, x_max, y_max), включая локализацию обнаруженного объекта:

$IoU\left(B_{pred}, B_{gt}\right)=\frac{\left|B_{pred}\cap B_{gt}\right|}{\left|B_{pred}\cup B_{gt}\right|}\in \left[\mathrm{0,1}\right]$

Здесь |B_pred ∩ B_gt| – площадь пересечения рамок (образов), |B_pred ∪ B_gt| – площадь их объединения. IoU = 1 – полное совпадение рамок, IoU = 0 – отсутствие пересечения. T_IoU = 0,5 – нижний порог для решения о корректной детекции [8].

Таким образом, элемент CM_ij – количество примеров из D_val, удовлетворяющих трём условиям:

1) y = i – истинный класс объекта равен i;

2) y ̂(x) = j – модель распознала класс j;

3) IoU(B_pred, B_gt) ≥ T_IoU – предсказанная рамка достаточно полно перекрывает истинную.

Объекты, для которых условие IoU не выполняется, исключаются из матрицы ошибок, поскольку анализу подлежат только ошибки классификации, а не локализации. При i = j элемент CM_ij отражает верные результаты классификации, при i ≠ j – ошибочные.

Для перевода абсолютных частот в вероятностную шкалу выполняется построчная нормализация:

$\widetilde{C{M}_{ij}}=\frac{C{M}_{ij}}{{\displaystyle {\sum }_{j^{\text{'}}=0}^{K-1}C{M}_{i{j}^{\text{'}}}}}$ , при условии ${\sum }_{j^{\text{'}}=0}^{K-1}C{M}_{i{j}^{\text{'}}}>\mathrm{0,}$

где j' – индекс суммирования по всем классам от 0 до K – 1, в отличие от фиксированного j в числителе. Элемент $\widetilde{C{M}_{ij}}$ представляет собой эмпирическую вероятность ошибочного отнесения объекта класса i к классу j. Условие ${\sum }_{j^{\text{'}}=0}^{K-1}C{M}_{i{j}^{\text{'}}}>0$ исключает из анализа классы, не представленные в валидационном наборе.

Сумма элементов каждой строки равна единице:

${\sum }_{j=0}^{K-1}\widetilde{C{M}_{ij}}=1 \forall i\in \left[\mathrm{0,}\dots ,K-1\right].$

Пара классов (i, j), i ≠ j называется критической, если модель допускает систематические ошибки классификации между ними, обусловленные высоким сходством визуальных признаков. Формальный критерий отнесения пары к критическим задаём условием:

$\left(i,j\right)\in P_{crit}�\left(i\ne j\right)\wedge \widetilde{(C{M}_{ij}}>T),$ (2)

где P_crit ⊆ {0, …, K – 1}² – множество критических пар, T – порог, отделяющий статистически значимое межклассовое смешение от фонового уровня случайных ошибок. Он определяется эмпирически как компромисс между чувствительностью метода к семантическим связям и вычислительной эффективностью. В нашем эксперименте (см. ниже) T = 0,05. Снижение порога до 0,01 приведёт к ложному срабатыванию детектора критических пар на случайных флуктуациях измерений. Это необоснованно увеличивает количество слоев с FP32, т. е. снизит степень сжатия модели без значимого прироста производительности (mAP). Повышение порога до T = 0,10 исключит из анализа пары с частотой ошибочной классификации 5–10 %. Это приведёт к потере пар.

Множество критических классов C_crit формируется путём извлечения всех классов, участвующих хотя бы в одной критической паре как в роли истинного класса объекта, так и в роли класса, к которому объект ошибочно отнесён:

$C_{crit}=\left\{i:\exists j, \left(i, j\right)\in P_{crit} \right\}\cup \left\{j:\exists i, \left(i, j\right)\in P_{crit}\right\}.$ (3)

Иными словами, если класс фигурирует в P_crit на любой позиции пары – левой или правой, он включается в C_crit.

Множество C_crit необходимо на следующем этапе для формирования подмножества данных D_crit, на котором оценивается семантическая значимость компонентов нейросети.

1.2. Оценка семантической значимости компонентов нейросети

Выполним количественную оценку вклада компонента нейросети в корректную классификацию объектов критических классов.

Под компонентом нейросети понимается тензор весов w_c ∈ R^d_c свёрточного слоя, где d_c – размерность тензора, c ∈ С = {c₁, c₂, …, c_N} – индекс компонента, N – число компонентов. Оценка заключается в измерении чувствительности модели к локальному возмущению компонента посредством их пробного, агрессивного квантования.

Пусть M – исходная модель с полной точностью (FP32), воспринимающая изображение x и возвращающая вектор распознаваний M(x) ∈ R^K. Пусть M'_c – модифицированная модель, в которой веса компонента c подвергнуты агрессивному квантованию до формата INT8 (8-битное целочисленное представление, Integer 8-bit), остальные – сохраняют точность FP32.

Семантическую значимость S_c компонента c зададим как прирост среднего значения функции потерь на критическом подмножестве данных после возмущения:

$S_c={\mathbb{E}}_{\left(x,y\right)\in D_{crit}}\left[L\left(M_c^{\text{'}}\left(x\right), y\right)\right]-{\mathbb{E}}_{\left(x,y\right)\in D_{crit}}\left[L\left(M\left(x\right), y\right)\right].$ (4)

- D_crit = {(x,y) ∈ D_val : y ∈ C_crit} – подмножество валидационных примеров, содержащее изображения, на которых присутствует хотя бы один объект критического класса из множества C_crit, определённого на этапе 1;

- L: R^K × {0, …, K - 1}⟶ R_≥0 – функция потерь задачи детекции. В архитектуре YOLOv8 функция потерь является составной и включает три компонента:

$L={\lambda }_{cls}\bullet L_{cls}+ {\lambda }_{box}\bullet L_{box}+ {\lambda }_{dfl}\bullet L_{dfl}$ (5)

где L_cls – бинарная кросс-энтропия (Binary Cross-Entropy, BCE), применяемая независимо к каждому классу для оценки ошибки классификации [14], L_box – потеря на основе полного пересечения по объединению (Complete Intersection over Union, CIoU) [19], количественно оценивающая отклонение предсказанной ограничивающей рамки от истинной с учётом трёх геометрических факторов: площади перекрытия, расстояния между центрами рамок и соотношения сторон, L_dfl – Distribution Focal Loss [10] для уточнения распределения координат, а λ_{cl s}= 0,5, λ_box = 7,5, λ_dfl = 1,5 – веса в стандартной конфигурации YOLOv8. При вычислении S_c используется составная функция потерь (5), поскольку квантование компонента влияет и на классификацию, и на точность локализации [5].

- Е[∙] – эмпирическое среднее значение функции потерь на подмножестве D_crit.

Вычисление S_c выполняется итеративно для каждого c ∈ С.

На каждой итерации выполняется следующее:

1. Сохраняются исходные значения весов компонента c.
2. Они квантуются до формата INT8. Квантование значения v при разрядности b и масштабном коэффициенте Δ определяется как:

$Q\left(v, \text{Δ}, b\right)=clip\left(round\left(\frac{v}{\text{Δ}}\right), -(2^{b-1}-1), 2^{b-1}-1\right)\bullet \text{Δ},$ (6)

где round(∙) – округление до ближайшего целого, clip(z, a, b) = max(a, min(z,b)) – ограничение диапазона, гарантирующее попадание результата в интервал целочисленного представления.

Квантованные значения весов компонента c вычисляются как:

$w_c^{\text{'}}=Q\left(w_c, {\text{Δ}}_{с}, b\right)$, где ${\text{Δ}}_{с}=\frac{\max \left(\left|w_c\right|\right)}{2^{b-1}-1}$ (7)

где b = 8 – целевая разрядность, Δ_с – масштабный коэффициент, определяемый как максимальное значение тензора весов компонента c.

3. Вычисляется значение функции потерь L на D_crit для модифицированной модели M'_c, полученной квантованием весов по (7).
4. Исходные значения восстанавливаются (для изоляции эффекта пробного квантования компонента c).

Значение метрики ограничивается снизу нулём: S_c = max(0, S_c): квантование не должно уменьшать значение функции потерь малыми отрицательными значениями числового шума.

Значения S_c интерпретируются следующим образом:

- S_c ≫ 0 – высокая семантическая значимость компонента: его «повреждение» существенно увеличивает ошибки на близких классах. Такие компоненты сохраняются при финальном квантовании;

- S_c ≈ 0 – низкая значимость компонента для различения объектов критических классов. Это допускает в нём агрессивное квантование практически без деградации качества.

Результатом этапа 2 является «карта» (вектор) семантической значимости S = {(c,S_c), c ∈ С} с убывающими компонентами.

1.3. Адаптивное распределение разрядности

Теперь осуществим гетерогенное назначение разрядности компонентам сети на основе значений компонентов S. Основная идея состоит в сохранении высокой точности представления для компонентов нейронной сети, важных для различения семантически близких классов, при одновременном агрессивном квантовании компонентов с низкой семантической значимостью.

Пусть С = {c₁, c₂, …, c_N} – множество анализируемых компонентов, упорядоченное по убыванию семантической значимости:

$S_{C_1}\ge S_{C_2}\ge \dots \ge S_{C_N}$

Общая семантическая значимость модели определяется как сумма значимостей всех компонентов:

$S_{total}=\sum _{i=1}^N{S}_{C_i}.$ (8)

Кумулятивная семантическая значимость первых k компонентов:

$S_{cum}\left(k\right)=\sum _{i=1}^k{S}_{C_i}.$ (9)

Точка отсечения k* определяется как минимальный индекс, для которого кумулятивная значимость превышает заданную долю α ∈ (0,1] от общей значимости (8):

$k^{*}=\text{min}\left\{k\in \left\{\mathrm{1,}\dots ,N\right\}:S_{cum}\left(k\right)\ge \alpha \bullet S_{total}\right\}.$ (10)

Гиперпараметр α задаёт долю общей чувствительности модели, которую необходимо сохранить в высокоточном формате FP32 для минимизации деградации на критических классах.

Разрядность b(c_i) для компонента c_i назначается по правилу:

$b\left(c_i\right)=\left\{\begin{array}{c}\mathrm{32,} если i\le k^{*} \left(FP32 — критические компоненты\right) \\ \mathrm{8,} если i>k^{*} \left(INT8 — избыточные компоненты\right)\end{array}\right..$ (11)

Этот подход реализует принцип Парето в распределении вычислительных ресурсов: небольшая доля компонентов сохраняется в FP32 для защиты качества на трудноразличимых классах, а основная масса параметров подвергается сжатию до INT8 без существенной потери точности.

На основании (11) получена гетерогенная конфигурация квантования – основы следующей, финальной стадии имитационного квантования с дообучением.

1.4. Финальная стадия

Здесь реализуется адаптация значений весов модели к ошибкам квантования процедурой обучения с учётом квантования (Quantization-Aware Training [16]) – минимизацией модифицированной функции потерь:

$\underset{\theta }{\min }{\mathbb{E}}_{\left(x,y\right)~D_{train}}\left[L\left(Q_{\text{Ω}}\left(f_{\theta }\left(x\right)\right), y\right)\right]$ (12)

где:

- f_θ – параметризованная нейросеть с вектором обучаемых весов θ;

- Q_Ω(∙) – оператор имитационного квантования из формулы (6), применяемый к весам в соответствии с конфигурацией Ω. Масштабный коэффициент Δ_с определяется автоматически модулями-наблюдателями в ходе обучения;

- D_train – обучающий набор данных.

Важное замечание. Выходной слой детекции H_detect исключается из этого процесса квантования:

$\forall c\in H_{detect}:B\left(c\right)=32$

Это обусловлено тем, что квантование весов в слоях, отвечающих за предсказание смещений ограничивающих рамок (границ объектов), приводит к систематическому смещению из-за нелинейной зависимости метрики IoU от ошибок координат [17].

2. Результаты экспериментов

В данном разделе представлена валидация предложенного метода SMPQ. Эксперименты позволили проверить гипотезу: сохранение точности FP32 для подмножества семантически значимых слоёв нивелирует падение метрик на критических классах.

2.1. Экспериментальная установка

Архитектура. В качестве базовой модели использована YOLOv8n [7] – наименьшая модель семейства YOLOv8. Число анализируемых свёрточных слоёв (без учёта головы детекции) – 45.

Набор данных. Обучение и тестирование выполнялись на специализированном наборе данных детекции транспортных средств – «MIO-TCD Localization» [13], содержащем 11 классов: Articulated truck, Bicycle, Bus, Car, Motorcycle, Motorized vehicle, Non-motorized vehicle, Pedestrian, Pickup truck, Single unit truck, Work van.

Набор содержит семантически близкие классы (Motorized vehicle / Car, Work van / Car, Single unit truck / Articulated truck), что обеспечивает наличие межклассовых смешений и делает датасет диагностическим для методов, претендующих на улучшение разделимости трудноразличимых классов.

Сравниваемые методы

1. FP32: исходная модель с 32-битной точностью весов и активаций.
2. INT8 PTQ: стандартное пост-тренировочное квантование с калибровкой на репрезентативной выборке.
3. INT8 QAT: обучение с квантованием, где все обучаемые слои, кроме головы детекции, переведены в INT8.

Гиперпараметры (для INT8 QAT и SMPQ). Число эпох дообучения – 10. Оптимизатор – SGD (стохастический градиентный спуск, Stochastic Gradient Descent) с моментом 0,937 и weight decay 10^-4. Начальная скорость обучения – 10^-3. Градиентное ограничение – максимальная норма 10. Предварительный прогрев наблюдателей – 100 батчей. Статистики батч-нормализации заморожены с начала дообучения, диапазоны наблюдателей зафиксированы на двух последних эпохах для стабилизации. Аугментация Mosaic отключена для стабильности QAT [3].

2.2. Протокол эксперимента

1. Инициализация. Обучение модели в формате FP32 на тренировочном наборе данных на 100 эпохах.
2. Идентификация критических классов. Анализ матрицы ошибок (1) для базовой модели выявил наличие устойчивых кластеров ошибочной классификации. В таблице 1 приведены пары, удовлетворяющие критерию (2) при T = 0,05.

 

Таблица 1. Ошибки классификации на валидационном наборе

Истинный класс	Предсказанный	Error, %
Motorized vehicle	Car	33,04
Work van	Car	27,48
Non-motorized vehicle	Motorized vehicle	12,65
Single unit truck	Motorized vehicle	11,09
Bicycle	Pedestrian	9,88
Single unit truck	Articulated truck	9,58
Pickup truck	Car	9,55
Non-motorized vehicle	Articulated truck	6,56

 

Наибольшая степень смешения наблюдается между «Motorized vehicle» и «Car» (33,04 %), «Work van» и «Car» (27,48 %). Выявлено 8 критических пар, формирующих множество P_crit.

Множество C_crit, определённое по формуле (3), включает 9 из 11 классов. Отсутствуют классы Bus и Motorcycle.

3. Оценка семантической значимости компонентов. Для каждого слоя рассчитывалась метрика по формуле (4). Оценки чувствительности варьировались от 0 до 0,059. Наибольшую значимость демонстрирует слой h_c2f3.cv2.conv – свёрточный слой в модуле C2f третьего уровня головы сети. Из 45 слоёв 18 имеют ненулевую семантическую значимость, 27 слоёв – нулевую. Они избыточны для различения объектов критических классов.
4. Адаптивное распределение разрядности. Значение порога α определено эмпирически по кривой кумулятивной семантической значимости (9) (рисунок 1).

 

Рисунок 1. Кривая кумулятивной семантической значимости

 

По (10) – k* = 13 слоев. Из 45 они аккумулируют 90 % чувствительности модели к искажениям на критических классах. Увеличение α сверх 0,9 приводит к росту числа слоёв, требующих сохранения (в FP32), при незначительном приросте метрик качества. Принято α = 0,9. 13 слоёв сохранены в формате FP32, остальные 32 квантованы до INT8.

5. Финальная стадия. Дообучение в соответствии с (12) включило 10 эпох стохастического градиентного спуска. Начальная скорость обучения – 10^-3 (5 % от стандартного LR для предотвращения осцилляций квантованных весов). Для стабилизации батч-норм-статистики были заморожены, а диапазоны наблюдателей зафиксированы на 9-й эпохе.

2.3. Сравнительный анализ точности

Сравнительные данные по точности представлены в таблице 2.

 

Таблица 2. Сравнительная эффективность методов квантования

Метод	Конфигурация точности	mAP@0,5 (все классы)	Δ mAP (vs FP32)	Размер модели (MB)	Степень сжатия
FP32	W32 / A32	0,7535	-	17,5	1,0x
INT8 PTQ	W8 / A8	0,7344	-2,5 %	5,2	3,36x
INT8 QAT	W8 / A8	0,7359	-2,3 %	5,2	3,36x
SMPQ	Mixed W8/32	0,7428	-1,4 %	6,3	2,78x

*W – weights, A – activation

 

Из таблицы 2 следует: метод SMPQ обеспечивает лучшее сохранение точности, достигая 98,6 % от mAP@0,5 базовой модели FP32. При этом размер модели (6,3 МБ) превышает полностью 8-битные аналоги только на 21 %, что обусловлено сохранением 13 наиболее чувствительных слоёв в формате FP32.

Время дообучения SMPQ сопоставимо с INT8 QAT при идентичных гиперпараметрах, поскольку процедура QAT применяется к подмножеству слоёв с разрядностью INT8. Добавочные затраты на этап оценки семантической значимости (этап 2) составляют один проход по D_crit для каждого из N компонентов и являются однократными.

2.4. Анализ метрик по классам

Для верификации гипотезы о семантической избирательности метода SMPQ был проведён детальный анализ метрик полноты и F1-меры в разрезе отдельных классов.

В таблице 3 представлены показатели для наиболее сложных классов, выявленных на этапе анализа матрицы ошибок.

 

Таблица 3. Полнота и F1-мера критических классов

Class	Метрика	FP32	INT8 PTQ	INT8 QAT	SMPQ
motorized_vehicle	Полнота	0,4173	0,3840	0,3650	0,4298
	F1-мера	0,4801	0,4554	0,4518	0,4776
pedestrian	Полнота	0,5593	0,5415	0,5119	0,5366
	F1-мера	0,6278	0,6119	0,6048	0,6195
non-motorized_vehicle	Полнота	0,5606	0,5408	0,5887	0,5549
	F1-мера	0,6067	0,5774	0,5904	0,6080

 

Абсолютные значения полноты на классах motorized_vehicle и pedestrian ограничены сложностью самого набора данных и наблюдаются у всех четырёх методов, включая базовую FP32-модель. Целью эксперимента является не демонстрация максимально достижимой точности на этих классах, а проверка сохранения разделимости при сжатии.

Для motorized_vehicle метод SMPQ достиг показателей, сопоставимых с базовой моделью, и даже продемонстрировал незначительный прирост, что может быть связано с эффектом регуляризации, вносимым шумом квантования в некритических слоях при сохранении выразительной способности в критических [15].

Метод SMPQ, сохраняя 13 критических слоёв в FP32, обеспечивает достаточное разрешение в пространстве признаков для корректной классификации этих объектов. При этом на классах с высокой репрезентативностью в выборке SMPQ показывает результаты, идентичные FP32, подтверждая, что агрессивное сжатие остальных 32 слоёв не разрушает общие паттерны детекции.

2.5. Анализ кривых

Визуальный анализ кривых «точность – полнота» (рисунок 2) подтверждает выводы, сделанные на основе табличных данных. Кривая предложенного метода (красная пунктирная линия) практически равна кривой FP32.

 

Рисунок 2. Усредненные PR-кривые

 

2.6. Ограничения эксперимента

В исследовании не проводились прямые измерения времени инференса. Фокус внимания – теоретическое обоснование семантического распределения весов. Оценка аппаратной задержки планируется в следующих исследованиях. Текущая реализация основана на модулях FakeQuantize библиотеки PyTorch, для моделирования ошибки округления в процессе QAT, но не для ускорения вычислений на стандартных GPU [14].

Операции квантования и деквантования вводятся в вычислительный граф, однако базовые вычисления выполняются в формате FP32 [16]. Это приводит к накладным расходам, из-за которых квантованная модель работает медленнее, чем её исходный FP32-аналог. Вследствие этого замеры времени на данной реализации не отражают истинной производительности целочисленной модели и исключены.

ЗАКЛЮЧЕНИЕ И ВЫВОДЫ

Результаты экспериментального исследования подтверждают, что деградация точности распознавания при квантовании детекторов носит структурный характер и локализована в специфических подмножествах весов. Гомогенное сжатие демонстрирует неэффективность в условиях высокого семантического сходства между классами объектов, так как «размывает» признаки классов шумом квантования.

Уступкой метода SMPQ является увеличение объёма модели на 21 % (6,3 MB против 5,2 MB у INT8). В контексте архитектуры граничных вычислений оно оправданно.

Итак, метод адаптивного семантико-ориентированного квантования (SMPQ) признаётся эффективным и решает проблему деградации точности классификации нейронных сетей на объектах визуально схожих классов.

About the authors

Valeriy A. Shaptsev

Tyumen State University

Email: vashaptsev@ya.ru

Doctor of Engineering Science, Professor of the Information Systems Department

Russian Federation, Tyumen

Danila S. Khrupin

Tyumen State University

Author for correspondence.
Email: Khrupin24@mail.ru

Postgraduate student of the Information Systems Department

Russian Federation, Tyumen

References

Supplementary files