Из чего состоят модели deep learning

Модели deep learning состоят из слоёв нейронов, организованных в архитектуру, которая позволяет извлекать иерархические признаки из данных. Основные компоненты:

1. Слои (Layers)
   • Dense (Fully Connected): линейные преобразования с активацией.
   • Convolutional (CNN): для обработки изображений/пространственных данных.
   • Recurrent (RNN/LSTM): для последовательностей (текст, временные ряды).
   • Transformer: self-attention для NLP и других задач.

2. Функции активации
   ReLU, Sigmoid, Tanh — добавляют нелинейность.

3. Функция потерь (Loss)
   MSE, Cross-Entropy — оценивает ошибку предсказания.

4. Оптимизатор
   Adam, SGD — обновляет веса для минимизации потерь.

Пример модели на PyTorch:

import torch.nn as nn

model = nn.Sequential(
    nn.Linear(784, 256),  # Fully Connected
    nn.ReLU(),            # Активация
    nn.Linear(256, 10)    # Выходной слой
)
loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters())