RussiaРСХБ-Интех
Разработчик DWH
1 мес. назад
Russia
greenplumsqlpxfpartitioningmpppythonapache airflowgit
Разработка и развитие сервисного ядра хранилища данных с использованием Greenplum, Python и Apache Airflow для улучшения платформы данных корпоративного уровня.
Обязанности
- Разрабатывать и развивать внутренний framework для построения корпоративного DWH
- Проектировать и реализовывать универсальные механизмы загрузки и трансформации данных
- Разрабатывать решения для автоматизации создания витрин и ETL-процессов
- Оптимизировать производительность Greenplum и повышать эффективность работы платформы
- Разрабатывать интеграции с внешними источниками данных (PXF и другие механизмы)
- Создавать и поддерживать DAG'и в Airflow
- Разрабатывать сервисы и утилиты на Python
- Участвовать в проектировании архитектуры платформы данных и определении технических стандартов
- Проводить код-ревью и участвовать в принятии архитектурных решений
Требования
- Отличное знание Greenplum и понимание его внутреннего устройства
- Глубокие знания SQL и опыт оптимизации сложных запросов
- Практический опыт работы с: PXF; партиционированием; распределением данных; MPP-архитектурой; анализом производительности и оптимизацией запросов
- Уверенное владение Python
- Опыт разработки и сопровождения пайплайнов в Apache Airflow
- Понимание принципов построения корпоративных DWH и ETL / ELT-процессов
- Опыт проектирования архитектурных решений и разработки внутренних платформ или библиотек
Будет плюсом
- Опыт разработки собственных framework или платформенных решений
- Знание PostgreSQL на уровне внутренних механизмов
- Опыт работы с Git, CI / CD
- Опыт работы с контейнеризацией (Docker / Kubernetes)
- Понимание принципов DataOps
Условия
- Обучение за счет компании (посещение конференций, курсов, помощь в написании статей на Хабр и т.д)
- Вертикальное и горизонтальное развитие: регулярные тренинги, вебинары, митапы
- Забота о вашем здоровье: ДМС после испытательного срока, куда входит стоматология
- Гибкий график
- Комфортные и современные офисы
- Дополнительные бонусы от Россельхозбанка для сотрудников группы компаний (скидки на спортзалы, рестораны, маркетплейсы и т.д.)