Action tech
Data инженер
2 дн. назад
Страна неизвестнаMiddleRemote
hadoopgreenplumetlreverse etlairflowsqlpythonlinux
Развитие и масштабирование инфраструктуры обработки данных на базе Hadoop и GreenPlum, разработка ETL-процессов, оптимизация запросов, работа с большими данными и качество данных.
Обязанности
- Развивать и масштабировать инфраструктуру обработки данных на базе Hadoop и GreenPlum
- Запускать потоковое получение данных, увеличивать количество подключенных источников
- Развивать ETL и Reverse ETL, работать с качеством данных, развивать Data Catalog и Data Lineage
- Разрабатывать и дорабатывать ETL-процессы в Airflow
- Подключать новые источники данных
- Создавать и дорабатывать витрины
- Оптимизировать SQL-запросы в GreenPlum и PostgreSQL
- Работать с большими объемами данных
- Развивать процессы контроля качества данных
Требования
- Самостоятельный, убедительный, амбициозный, с лидерскими качествами или умением управлять без прямого руководства
- От 1 года опыта работы с данными
- Отличное знание SQL: JOIN, оконные функции, процедуры
- Умение профилировать и оптимизировать запросы, понимать план выполнения
- Понимание принципов работы реляционных БД и архитектуры DWH: ODS, DDS, DM
- Практический опыт работы с Airflow и ETL-процессами
- Python на базовом уровне
- Знание Linux и умение работать с командной строкой
- Опыт работы с Git
- Понимание принципов работы Docker
- Опыт работы с большими данными (>100 GB)
- Опыт работы с DataHub