Был ли опыт инференса моделей

Да, есть опыт инференса моделей в продакшене. Работал с TensorFlow, PyTorch, ONNX и Triton Inference Server. Оптимизировал модели через квантование, использование TensorRT и ONNX Runtime для ускорения.

Пример инференса на PyTorch:

model.eval()
with torch.no_grad():
    inputs = torch.tensor(preprocess(data)).unsqueeze(0)
    outputs = model(inputs)
    predictions = torch.softmax(outputs, dim=1)

Также есть опыт деплоя моделей в виде REST API (FastAPI/Flask) и батчинга для обработки больших объемов данных.