Инженер качества AI-агента в Uklad AI удалённо

Инженер качества AI-агента в Uklad AI. Анализ диалогов и ошибок агента, правка backend-кода выбора инструментов, тесты и метрики качества, развитие системы автоматической оценки (AI-судья).

Задачи:

• Анализировать качество работы AI-агентов: изучать диалоги, находить ситуации с неудачным выполнением задач
• Находить причины ошибок: почему агент не вызвал инструмент, неправильно выбрал последовательность действий
• Вносить изменения в код, отвечающий за выбор инструментов и выполнение задач
• Писать тесты, проверять качество агента до/после изменений
• Работать с метриками качества, отслеживать динамику ошибок
• Развивать систему автоматической оценки (AI-судья)
• Работать напрямую с основателем над приоритетами продукта

Требования:

• Опыт разработки на TypeScript или Node.js, умение читать и менять backend-код
• SQL и базы данных, анализ логов и статистики
• Понимание LLM и AI-агентов: Tool Calling, выбор инструментов моделью
• Опыт написания автотестов и проверки качества систем
• Умение измерять эффект изменений через метрики
• Будет плюсом: опыт с LLM-as-a-Judge/Evals, PostgreSQL, SQLite

Условия:

• Занятость полная, график 5/2, 9-18 или 10-19 МСК
• Опыт 1-3 года
• Формат: удалённо

Навыки:

• TypeScript
• Node.js
• SQL
• LLM
• AI-агенты
• Tool Calling
• автотесты
• LLM-as-a-Judge
• Evals
• PostgreSQL
• SQLite