Можно ли добавить autoscale в Celery

Да, можно. В Celery autoscale можно настроить с помощью параметра --autoscale, который указывается при запуске worker. Формат: --autoscale=MAX,MIN, где MAX — максимальное количество процессов, MIN — минимальное.

Пример запуска worker с autoscale:

celery -A proj worker --autoscale=10,2 --loglevel=INFO

Как это работает:

• При высокой нагрузке Celery автоматически увеличивает количество процессов до MAX.
• При снижении нагрузки уменьшает до MIN.

Ограничения:

• Autoscale работает только с пулом процессов (prefork), не поддерживается gevent/eventlet.
• Требует мониторинга нагрузки, иногда может быть неэффективен без дополнительной настройки.

Для более сложных сценариев можно использовать внешние инструменты (Kubernetes, Docker Swarm) или кастомные решения на основе Celery API.