Что делать, если трансформер, выпущенный в production, не прошел нагрузочное тестирование

Сначала провести анализ узких мест: логирование времени выполнения запросов, мониторинг ресурсов (CPU, RAM, GPU). Частые проблемы:

1. Оптимизация модели: квантование, дистилляция, pruning

model = torch.quantization.quantize_dynamic(
    model, {torch.nn.Linear}, dtype=torch.qint8
)

2. Инференс: batch-обработка, кеширование, async-вызовы
3. Инфраструктура: горизонтальное масштабирование (Kubernetes), GPU-ускорение

Для быстрого фикса можно:

• Уменьшить max_length токенов
• Добавить rate limiting
• Включить кеширование предсказаний

Профилируй через torch.profiler и сравни метрики до/после оптимизаций.