Что такое квантизация нейронных сетей

Квантизация — это процесс уменьшения точности весов и активаций нейронной сети (например, с 32-битных float до 8-битных int) для ускорения вычислений, уменьшения размера модели и энергопотребления.

Типы квантизации:

• Посттренировочная: применяется к уже обученной модели.
• Квант-аваре тренировка: модель обучается с учетом квантования, что улучшает качество.

Пример посттренировочной квантизации в TensorFlow:

import tensorflow as tf

# Загрузка модели
model = tf.keras.models.load_model('float_model.h5')

# Конвертация в 8-битный int
converter = tf.lite.TFLiteConverter.from_keras_model(model)
converter.optimizations = [tf.lite.Optimize.DEFAULT]
quantized_model = converter.convert()

# Сохранение квантованной модели
with open('quant_model.tflite', 'wb') as f:
    f.write(quantized_model)

Плюсы:

• Уменьшение размера модели в 4 раза (32 → 8 бит).
• Ускорение inference на CPU/GPU.
• Поддержка аппаратного ускорения (например, TPU).

Минусы:

• Возможная потеря точности.
• Не все операции поддерживают квантование.