ML Engineer (NLP/LLM) в Аквилон Санкт-Петербург

О компании: ООО "АКВИЛОН" – это место, где металл обретает форму, а идеи становятся реальностью. У нас ты сможешь работать с уникальными проектами, такими как крепеж для морских судов и компоненты для современных БПЛА. Мы предлагаем стабильность и развитие. Присоединяйся к нашей команде профессионалов и создавай вещи, которые действительно важны!

Только офисный формат работы

Обязанности:

• Обучение и файнтюнинг генеративных языковых моделей (трансформеры, LLM) под конкретные бизнес-задачи.

• Применение методов параметроэффективного дообучения: LoRA, QLoRA, префикс-тюнинг.

• Работа с инструментарием дообучения: Axolotl, Transformers, PEFT, возможно TRL для RLHF (если нужно), но указан Axolotl, значит фокус.

• Подготовка и очистка данных: сбор, разметка, аугментация текстовых датасетов; управление версиями данных с помощью DVC или аналогов.

• Валидация и тестирование моделей: расчет метрик (перплексия, F1, ROUGE, BLEU, accuracy в зависимости от задачи); разработка автоматизированных тестов качества.

• Оптимизация инференса: квантизация (GPTQ, AWQ), экспорт в формат для Ollama/vLLM, анализ скорости/качества.

• Совместная работа с MLOps по упаковке моделей в Docker-образы и включению в CI/CD.

• Ведение журнала экспериментов, фиксация гиперпараметров, отслеживание метрик в изолированной среде (возможно на базе MLflow или внутренних решений).

• Исследование новых архитектур и подходов для улучшения качества ответов, снижения галлюцинаций, повышения релевантности.

• Глубокое знание PyTorch и экосистемы Hugging Face (transformers, datasets, accelerate, peft).

• Опыт дообучения LLM (LoRA/QLoRA) с помощью Axolotl или аналогичных фреймворков.

• Понимание метрик качества NLP: перплексия, F1-score, точность/полнота, BLEU/ROUGE; умение интерпретировать их.

• Навыки работы с данными: предобработка текста, фильтрация, дедупликация, управление большими датасетами; опыт с DVC или Git LFS.

• Умение работать в изолированной среде: способность загружать модели, токенизаторы и зависимости оффлайн, настраивать кэширование Hugging Face, pip индекс.

• Понимание архитектур Transformer (GPT, LLaMA, Mistral и т.д.) и методов их адаптации.

• Хорошие навыки программирования на Python, написание чистого и воспроизводимого кода.

• Опыт работы с системами контроля версий (Git) и базовое понимание CI/CD.

• Будет плюсом: опыт квантизации моделей (llama.cpp, GPTQ, AWQ), знание внутреннего устройства Ollama/vLLM, опыт с RLHF/DPO.

• Полная занятость, график работы 5/2, Пн-Чт с 8 до 16-45, Пт. до 15-30.
• Работа на месте работодателя.
• Бесплатная парковка.
• Развозка от. ст.м. Елизаровская и до ст.м. Елизаровская/Обводный канал (на выбор)
• Столовая на территории работодателя.
• Возможности для профессионального роста и обучения за счет компании.
• Участие в уникальных и инновационных проектах, которые приносят пользу.