Что такое функция активации

Функция активации определяет выход нейрона в нейронной сети на основе взвешенной суммы входов. Она вводит нелинейность, позволяя сети обучаться сложным паттернам.

Примеры:

1. ReLU (Rectified Linear Unit):
   python

   Копировать

   def relu(x):
       return max(0, x)

   Быстрая, устраняет проблему затухающих градиентов.

2. Sigmoid:

   python

   Копировать

   import numpy as np
   def sigmoid(x):
       return 1 / (1 + np.exp(-x))

   Используется для бинарной классификации (выход в диапазоне [0, 1]).

3. Softmax:

   python

   Копировать

   def softmax(x):
       exps = np.exp(x - np.max(x))
       return exps / np.sum(exps)

   Нормализует выходы в вероятности для многоклассовой классификации.

Выбор зависит от задачи: ReLU для скрытых слоёв, Sigmoid/Softmax для выходных.