Встречается на собеседованиях • сегодня

Как решить проблему при отправке тысячи асинхронный HTTP запросов в Python

Используй asyncio с aiohttp для эффективной обработки множества асинхронных запросов. Ограничь количество одновременных соединений с помощью семафоров, чтобы избежать перегрузки сервера или блокировки.

Пример:

python

import aiohttp
import asyncio

async def fetch(url, session, semaphore):
    async with semaphore:
        async with session.get(url) as response:
            return await response.text()

async def main(urls):
semaphore = asyncio.Semaphore(100) # Ограничение на 100 одновременных запросов
async with aiohttp.ClientSession() as session:
tasks = [fetch(url, session, semaphore) for url in urls]
return await asyncio.gather(*tasks)

urls = ["https://example.com"] * 1000
results = asyncio.run(main(urls))

text


**Ключевые моменты:**  
- Используй `Semaphore` для контроля нагрузки.  
- `ClientSession` должен быть один на все запросы.  
- `asyncio.gather` эффективно обрабатывает множество задач.  
- Обрабатывай исключения (в примере опущено для краткости).  

Для больших объемов можно добавить retry-логику и прогресс-бар (например, `tqdm`).

Софи собрала все вопросы. Тренируйся и получай
офферы быстрее!

Попробовать бесплатно

Следующий вопрос

Это единственный вопрос по вашему фильтру

как отвечать на вопрос

пример собеседования

фреймворки на собеседовании

типичные вопросы junior

интервью вопросы и ответы