Как работает шардирование

Шардирование — это горизонтальное разделение данных между несколькими серверами (шардами) для распределения нагрузки. Каждый шард содержит подмножество данных, а вместе они образуют полный набор.

Принципы:

• Критерий шардирования: данные распределяются по ключу (например, user_id % 3).
• Горизонтальное масштабирование: добавление новых шардов увеличивает общую ёмкость.
• Локализация запросов: запросы направляются только в нужный шард.

Пример:

// Определение шарда по хэшу userId
int shardIndex = Math.abs(userId.hashCode()) % numberOfShards;
Database shard = shards.get(shardIndex);
shard.save(userData);

Проблемы:

• Решардинг при изменении количества шардов.
• Сложности с транзакциями и JOIN между шардами.
• Неравномерная нагрузка (hot shards).

Используется в MongoDB, PostgreSQL (через расширения), Cassandra.