Встречается на 5% собеседований по Data Engineer

Где будешь искать причину, если при объединении двух таблиц возникает ошибка недостатка памяти

Проверь следующие аспекты:

  1. Размер таблиц: Убедись, что объединяемые таблицы не слишком большие. Используй df.memory_usage(deep=True) для оценки.

  2. Тип объединения: INNER JOIN обычно требует меньше памяти, чем OUTER. Пример:

python
df = pd.merge(df1, df2, how='inner', on='key')
  1. Типы данных: Оптимизируй типы (например, int64 → int32).

  2. Дубликаты: Проверь на дубликаты ключей с df['key'].duplicated().sum().

  3. Альтернативы: Попробуй dask для работы с большими данными или разбей объединение на части.

  4. Окружение: Проверь доступную память через !free -h (Linux) или psutil.virtual_memory().

Для больших таблиц лучше использовать итеративное объединение или базы данных.

Следующий вопрос

Это единственный вопрос по вашему фильтру

как отвечать на вопрос
пример собеседования
фреймворки на собеседовании
типичные вопросы junior
интервью вопросы и ответы