РоссияTop Selection
Data engineer
3 нед. назад
280k–300k RUB / мес.РоссияSeniorRemote
pythonetlsqlplsqlapache airflowpysparknifihive
Компания «Top Selection» ищет senior Data engineer для миграции и разработки ETL-процессов, с использованием Python, Apache Airflow и SQL, с возможностью удалённой работы.
О компании
- Я представляю группу компаний Top Selection.
Обязанности
- Миграция ETL-процессов с Informatica PowerCenter на целевой стек: NiFi + Airflow + Greenplum + SQL/хранимые процедуры.
- Подготовка документации AS IS и TO BE.
- Написание SQL кода.
- Отслеживание метрик.
Требования
- Опыт TeamLead (управление командой) не менее 4 лет.
- Опыт разработки ETL/ELT-процессов, в которых значительная часть логики реализована на стороне СУБД.
- Опыт разработки и сопровождения хранимых процедур / функций в СУБД.
- Практический опыт использования SQL/PLSQL или аналогичных процедурных расширений SQL для реализации загрузок и трансформаций данных.
- Опыт участия в проектах миграции ETL-систем (Apache стек).
- Опыт разработки на Python (написание ETL-скриптов, работа с pandas, интеграция с API).
- Опыт написания и отладки DAG'ов в Apache Airflow (не только проектирование, но и разработка).
- Опыт работы с PySpark (трансформации, оптимизация, партиционирование).
- Опыт миграции ETL-процессов с Informatica PowerCenter на открытый стек (Airflow + Greenplum).
- Глубокое практическое знание NiFi и Airflow: проектирование потоков, подключение источников, обработка ошибок, мониторинг, отладка.
- Опыт работы с качеством данных: разработка правил валидации, анализ влияния на бизнес-процессы.
- Понимание архитектурных подходов к проектированию хранилищ, различие ETL и ELT.
- Опыт работы с Hive metastore (устройство, хранение на PostgreSQL) и форматами файлов (Parquet, ORC).
- Опыт работы с Оracle.
- Опыт применения сложных SQL-запросов (оконные функции, джоины).
- Умение оптимизировать запросы для highload-среды.
- Опыт проектирования интеграций Apache-стека с Kafka и BI-системами.
- Опыт настройки потоковой обработки данных.
- Опыт работы с Hadoop и Hive (знание версий, источников данных).
- Опыт работы с PostgreSQL, Greenplum, Clickhouse.
- Опыт работы с Grafana/Prometheus для отслеживания ETL-процессов.
- Опыт работы с биллингом.
- Опыт автоматической валидации и контроля качества данных после миграции (сравнение результатов, метрики).