Встречается на 5% собеседований по AI Engineer

Какие знаешь методы ускорения нейросетей

Квантование – уменьшение битности весов (например, с 32 до 8 бит).
python
```
model = quantize_model(model, dtype='int8')
```
Призматизация (Pruning) – удаление малозначимых весов.
python
```
prune_low_magnitude(model, sparsity=0.5)
```

Дистилляция – обучение маленькой модели (student) на предсказаниях большой (teacher).
Оптимизация архитектуры – замена слоёв на более эффективные (например, MobileNet вместо ResNet).
Использование специализированных библиотек – TensorRT, ONNX Runtime для оптимизации инференса.
Оптимизация данных – батчинг, кэширование, уменьшение размерности входов.
Аппаратное ускорение – GPU/TPU, CUDA, использование AVX-инструкций CPU.
Градиентный checkpointing – экономия памяти при обучении за счёт пересчёта промежуточных активаций.

Это единственный вопрос по вашему фильтру

Похожие вопросы