Data Scientist в Авито удалённо

Data Scientist в команду LLM Core Авито: обучение и развитие собственных базовых LLM, от исследовательских гипотез до внедрения в продакшен, с фокусом на качество, скорость и стоимость моделей.

Задачи:

• Формулировать и проверять гипотезы в области претрейна, continual pre-training, post-training, RL, синтетических данных и архитектур моделей
• Самостоятельно вести сложные исследовательские и инженерные задачи: от постановки цели, выбора метрик и дизайна экспериментов до реализации, анализа результатов и внедрения
• Масштабировать обучение и инференс: профилировать узкие места, повышать эффективность распределённого обучения и инференса, работать с квантованием, speculative decoding и современными inference-движками
• Строить надёжные процедуры оценки качества, проводить анализ ошибок, находить регрессии и проектировать датасеты и метрики для сравнения моделей по качеству, latency и стоимости
• Писать продакшен-код на Python и PyTorch, проводить code review, улучшать воспроизводимость экспериментов, надёжность и поддерживаемость ML-решений
• Делиться знаниями, менторить менее опытных коллег, участвовать в архитектурных обсуждениях и внутренних LLM-семинарах
• Масштабировать базовую модель A-vibe: исследовать новые архитектуры и подходы к обучению
• Оптимизировать скорость и стоимость инференса высоконагруженных моделей в продакшене
• Проектировать и помогать разрабатывать внутренние LLM-платформы и мультиагентные системы
• Строить надёжную инфраструктуру для оценки качества моделей

Требования:

• Глубокое понимание современных ML-алгоритмов, Transformer и принципов обучения LLM
• Практический опыт обучения, адаптации или внедрения NLP-моделей и умение превращать идеи в проверяемые эксперименты
• Умение самостоятельно работать с неопределённостью: декомпозировать проблему, выбирать метрики, анализировать результаты и принимать технические решения
• Уверенное владение Python, хорошее знание PyTorch и инженерных практик разработки
• Понимание компромиссов между качеством, latency, throughput и стоимостью и учёт их при выборе решения

Условия:

• Возможность влиять на продукт: ваши решения будут улучшать опыт миллионов пользователей
• Сложные технологические задачи на большом масштабе
• Мощное железо: доступ к производительным GPU-кластерам для экспериментов
• Сильное комьюнити: команда экспертов, с которой можно обсуждать идеи и подходы
• Развитие: бюджет на обучение, курсы, конференции и профессиональную литературу
• Забота о здоровье: ДМС со стоматологией с первого дня, в офисе принимают терапевт и массажист
• Гибкость: возможность работать удалённо или из офисов в 4 городах России

Навыки:

• Python
• PyTorch
• Transformer
• LLM
• continual pre-training
• post-training
• RL
• SFT
• LoRA
• DeepSpeed
• vLLM
• SGLang
• TensorRT-LLM
• Weights & Biases
• MLflow
• DVC