Зачем нужны дифференцируемые в нуле функции

Дифференцируемые в нуле функции важны в оптимизации и машинном обучении, особенно при использовании градиентных методов. Если функция не дифференцируема в нуле, это может вызвать проблемы при обновлении параметров (например, в SGD). Пример — функция ReLU:

def relu(x):
    return max(0, x)

ReLU дифференцируема везде, кроме нуля (производная слева 0, справа 1). На практике используют субдифференциал или задают производную в нуле (например, 0 или 1), чтобы избежать неопределённости. Это позволяет корректно применять backpropagation.