Как прочитать файл, размер которого больше размера оперативной памяти

Для чтения больших файлов в Python используйте генераторы и чтение по частям. Основные подходы:

1. Чтение построчно:

with open('large_file.txt', 'r') as f:
    for line in f:
        process(line)  # обрабатываем каждую строку отдельно

2. Чтение блоками фиксированного размера:

chunk_size = 1024 * 1024  # 1MB
with open('large_file.bin', 'rb') as f:
    while chunk := f.read(chunk_size):
        process_chunk(chunk)

Ключевые моменты:

• Всегда используйте контекстный менеджер (with)
• Для текстовых файлов итерация по строкам оптимальна
• Для бинарных файлов читайте чанками
• Избегайте .read() без аргументов - он загружает весь файл в память