Что является основным строительным блоком нейронных сетей

Основным строительным блоком нейронных сетей является нейрон (или искусственный нейрон). Он моделирует работу биологического нейрона, принимая входные данные, обрабатывая их и передавая выходной сигнал.

Нейрон состоит из:

1. Входов (x₁, x₂, ... xₙ) с весами (w₁, w₂, ... wₙ)
2. Функции суммирования (взвешенная сумма входов + смещение)
3. Функции активации (например, ReLU, sigmoid)

Пример реализации нейрона на Python:

import numpy as np

class Neuron:
    def __init__(self, n_inputs):
        self.weights = np.random.randn(n_inputs)
        self.bias = np.random.randn()
    
    def forward(self, inputs):
        weighted_sum = np.dot(inputs, self.weights) + self.bias
        return self.activation(weighted_sum)
    
    def activation(self, x):
        return max(0, x)  # ReLU

Группы нейронов образуют слои, а слои - полносвязные нейронные сети. Современные архитектуры используют и другие строительные блоки: сверточные слои (CNN), рекуррентные нейроны (RNN), механизмы внимания (Transformer).