Приведи пример интересного кейса который решал

Один из интересных кейсов — оптимизация парсинга большого объема данных с динамических сайтов.

Проблема:
Нужно было собрать данные с сайта, где контент подгружался через AJAX, а антибот-система блокировала частые запросы.

Решение:

1. Использовал selenium с undetected-chromedriver для обхода защиты.
2. Реализовал асинхронные запросы через aiohttp для статических данных.
3. Добавил рандомизацию задержек и User-Agent’ов.

Код:

import asyncio
from aiohttp import ClientSession
import random

async def fetch_data(url, session):
    headers = {'User-Agent': random.choice(user_agents)}
    async with session.get(url, headers=headers) as response:
        return await response.text()

async def main(urls):
    async with ClientSession() as session:
        tasks = [fetch_data(url, session) for url in urls]
        return await asyncio.gather(*tasks)

Результат:
Скорость сбора данных выросла в 5 раз, а блокировки сократились до минимума.