РоссияКомпания не указана
Data Engineer
2 нед. назад
280k–300k RUB / мес.РоссияSeniorRemote
nifiairflowgreenplumpythonpysparksqlplsqlpandas
Senior Data Engineer position focused on migrating and developing ETL infrastructure using NiFi, Airflow, Greenplum, and related technologies in a remote setup.
Обязанности
- Мигрировать ETL-процессы с Informatica PowerCenter на NiFi, Airflow и Greenplum
- Разрабатывать ETL/ELT-процессы и хранимые процедуры
- Писать и оптимизировать SQL-код для highload-среды
- Разрабатывать и отлаживать DAG в Apache Airflow
- Готовить документацию AS IS и TO BE
- Отслеживать метрики и контролировать качество данных после миграции
Требования
- Опыт Team Lead и управления командой от 4 лет
- Глубокое знание NiFi, Airflow, SQL/PLSQL и ETL/ELT
- Опыт с Python, pandas, PySpark и интеграциями API
- Опыт миграции с Informatica PowerCenter на Airflow и Greenplum
- Знание Hadoop, Hive, Kafka, Oracle, PostgreSQL, Greenplum и ClickHouse
- Опыт с качеством данных, потоковой обработкой и Grafana/Prometheus
Условия
- Удалённая работа
- Доход 280 000–300 000 ₽
- Senior-позиция
- Работа с миграцией и развитием ETL-инфраструктуры
- Стек: NiFi, Airflow, Greenplum, Python, PySpark, SQL