Finframe
Senior-Lead Data Engineer
1w ago
RussiaLeadRemotes3icebergairflowsparkpythontrinoclickhousegreenplum+2
Ищем Lead/Senior Data Engineer для построения Data Platform с нуля с лидерской зоной ответственности и hands-on работой по развитию и оптимизации платформы.
About the company
- Компания: Finframe (финтех)
Conditions
- Формат: Удаленно по РФ
Responsibilities
- Архитектура и развитие платформы (совместно с Data Architect):
- Проектирование архитектуры Data Platform (DWH + Lakehouse)
- Выбор технологических решений и инструментов
- Участие в проработке подходов к Data Quality, lineage и monitoring
- Разработка
- Проектирование, разработка и поддержка ETL/ELT-пайплайнов
- Разработка витрин данных
- Реализация ingestion и обработки данных в Lakehouse
- Настройка оркестрации и мониторинга в Airflow
- Поддержка и развитие LakeHouse, DWH
- Внедрение практик CI/CD для data-разработки
- Документирование разработки
- Лидерство и развитие команды:
- Создание команды Data Engineers
- Развитие компетенций, процессов разработки, code review и внедрение engineering best-практик
- Планирование roadmap развития платформы
- Взаимодействие с архитекторами, аналитиками и backend-командами
Requirements
- Опыт работы Data Engineering / DWH / Big Data от 6 лет
- Опыт работы с DBT / Airflow / Spark / объектными хранилищами
- Опыт проектирования Data Platform или ключевых её частей
- Опыт оптимизации производительности DWH или Big Data систем
- Опыт technical leadership (lead / tech lead / играющий тренер)
- Понимание принципов Data Governance и Data Quality
- Будет плюсом: опыт создания Data Platform с нуля, включая MVP
Other
- Технический стек: S3, Iceberg, Airflow, Spark, Python, Trino, ClickHouse, Greenplum, DBT, Superset (опыт со стеком обязателен)
Found in@datasciencejobs