Оценка вероятности захода в приложение относится к задаче классификации или регрессии

Это задача бинарной классификации, так как мы предсказываем вероятность (от 0 до 1) события (зашел/не зашел). Хотя вероятность — непрерывная величина, сам целевой признак — дискретный (0 или 1).

Пример с sklearn:

from sklearn.linear_model import LogisticRegression
X = [[user_features]]  # признаки пользователя
y = [0, 1, 1, 0]      # 0 — не зашел, 1 — зашел
model = LogisticRegression()
model.fit(X, y)
prob = model.predict_proba(X)[:, 1]  # вероятность захода

Для метрик используют roc_auc, log_loss или precision-recall, так как они учитывают вероятностную природу предсказаний.