Почему нельзя делать инициализацию весов нейронной сети нулями

Инициализация весов нулями приводит к симметричности градиентов во время обратного распространения ошибки. Все нейроны в слое будут обновляться одинаково, что делает их эквивалентными. Это препятствует обучению, так как сеть не сможет выявлять различные признаки в данных.

Пример с кодом:

import numpy as np

# Плохая инициализация нулями
weights = np.zeros((100, 100))  # Все веса = 0
# Хорошая инициализация (например, Xavier)
weights = np.random.randn(100, 100) * np.sqrt(1/100)

Лучше использовать случайную инициализацию (Xavier/Glorot, He), которая разбивает симметрию и позволяет нейронам обучаться по-разному. Нулевая инициализация также может привести к проблеме исчезающих градиентов.