Data Engineer в Aston удалённо

Data Engineer для разработки сервисов обработки данных и ETL-пайплайнов для обогащения LLM через RAG.

Задачи:

• Разрабатывать сервисы пакетной и потоковой обработки данных для вычисления векторных представлений (embedding) и сохранения их в векторное хранилище для обогащения больших языковых моделей (LLM) релевантными контекстными данными через RAG
• Реализовывать промышленные отказоустойчивые ETL-сервисы на Python под управлением Apache Airflow и Argo Workflows

Навыки:

• Python
• Apache Airflow
• Argo Workflows
• RAG
• LLM
• ETL