Зачем нужна функция активации

Функция активации вводит нелинейность в нейронную сеть, позволяя ей обучаться сложным паттернам. Без неё сеть была бы просто линейной комбинацией входов, независимо от количества слоёв.

Примеры популярных функций:

• ReLU: f(x) = max(0, x) — простая, эффективная, избегает проблемы затухающих градиентов.
• Sigmoid: f(x) = 1 / (1 + e^(-x)) — выводит значения в диапазоне (0, 1), удобна для вероятностей.
• Softmax: преобразует выходы в вероятностное распределение (используется в классификации).

import numpy as np

def relu(x):
    return np.maximum(0, x)

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

Выбор функции зависит от задачи: ReLU для скрытых слоёв, Sigmoid/Softmax для выходного слоя в классификации.