Что такое skip connection

Skip connection — это архитектурный прием в нейронных сетях, позволяющий передавать входные данные на более глубокие слои без изменений. Это помогает избежать проблемы исчезающего градиента и улучшает обучение глубоких сетей.

Пример в PyTorch:

import torch.nn as nn

class ResidualBlock(nn.Module):
def init(self, in_channels):
super().init()
self.conv1 = nn.Conv2d(in_channels, in_channels, kernel_size=3, padding=1)
self.conv2 = nn.Conv2d(in_channels, in_channels, kernel_size=3, padding=1)

def forward(self, x):
    residual = x
    out = nn.ReLU()(self.conv1(x))
    out = self.conv2(out)
    out += residual  # Skip connection
    return nn.ReLU()(out)

Используется в ResNet, Transformer и других моделях. Упрощает обучение, сохраняя информацию из начальных слоев.