На каком языке писал сервисы вокруг моделей

Чаще всего для production-сервисов вокруг ML-моделей используют Python (Flask/FastAPI) или Go. Python популярен благодаря богатой ML-экосистеме (TensorFlow, PyTorch), а Go — для высоконагруженных сервисов.

Пример FastAPI сервиса:

from fastapi import FastAPI
import pickle

app = FastAPI()
model = pickle.load(open("model.pkl", "rb"))

@app.post("/predict")
def predict(data: dict):
    return {"prediction": model.predict([data["features"]])[0]}

Для enterprise-решений иногда используют Java (Spring Boot) или C++. Выбор зависит от требований к latency, throughput и существующего стека компании.