Какие знаешь способы ускорения инференса

1. Квантование – уменьшение битности весов (FP32 → FP16/INT8). Пример для PyTorch:

model = torch.quantization.quantize_dynamic(model, {torch.nn.Linear}, dtype=torch.qint8)

2. ONNX Runtime/TensorRT – оптимизированные движки для инференса. Конвертация модели:

torch.onnx.export(model, input, "model.onnx")

3. Прунинг – удаление малозначимых весов. Пример:

prune.l1_unstructured(module, name='weight', amount=0.3)

4. Кеширование – сохранение результатов для повторяющихся запросов.

5. Батчинг – обработка нескольких запросов одновременно (особенно эффективно для GPU).

6. Оптимизация архитектуры – замена тяжелых слоев на более легкие (например, MobileNet вместо ResNet).

Для максимального ускорения часто комбинируют несколько методов, например квантование + TensorRT.