Какие знаешь методы ускорения нейросетей

Квантование – уменьшение битности весов (например, с 32 до 8 бит).

model = quantize_model(model, dtype='int8')

Призматизация (Pruning) – удаление малозначимых весов.

prune_low_magnitude(model, sparsity=0.5)

Дистилляция – обучение маленькой модели (student) на предсказаниях большой (teacher).

Оптимизация архитектуры – замена слоёв на более эффективные (например, MobileNet вместо ResNet).

Использование специализированных библиотек – TensorRT, ONNX Runtime для оптимизации инференса.

Оптимизация данных – батчинг, кэширование, уменьшение размерности входов.

Аппаратное ускорение – GPU/TPU, CUDA, использование AVX-инструкций CPU.

Градиентный checkpointing – экономия памяти при обучении за счёт пересчёта промежуточных активаций.