Встречается на собеседованиях • сегодня

Какие знаешь варианты работы с большим файлом в Python

Для работы с большими файлами в Python есть несколько подходов:

  1. Чтение по строкам (итеративное):
python
with open('large_file.txt', 'r') as f:
    for line in f:  # читает по одной строке
        process(line)
  1. Чтение чанками (фиксированными блоками):
python
chunk_size = 1024
with open('large_file.bin', 'rb') as f:
    while True:
        chunk = f.read(chunk_size)
        if not chunk:
            break
        process(chunk)
  1. Использование генераторов для обработки данных:
python
def read_large_file(file):
    while True:
        data = file.read(8192)
        if not data:
            break
        yield data
  1. Модуль mmap (memory-mapped files):
python
import mmap
with open('large_file', 'r+') as f:
    mm = mmap.mmap(f.fileno(), 0)
    # работаем как с байтовой строкой

Ключевые моменты:

  • Всегда используйте with для автоматического закрытия файла
  • Для бинарных данных используйте режим 'rb'
  • Избегайте read() без параметров для больших файлов
  • Для CSV/JSON можно использовать pandas с chunksize
Sophi
Софи собрала все вопросы. Тренируйся и получай
офферы быстрее!
Попробовать бесплатноArrow

Следующий вопрос

Это единственный вопрос по вашему фильтру

как отвечать на вопрос
пример собеседования
фреймворки на собеседовании
типичные вопросы junior
интервью вопросы и ответы