РоссияЮзтех
Data Engineer
2 дн. назад
РоссияMiddleRemote
sqlpythonapache sparkhadoops3apache icebergapache airflowgit
Инженер данных в Юзтех с задачами по миграции и развитию витрин данных на современном стеке технологий.
Обязанности
- Анализ существующих решений и витрин данных
- Миграция витрин данных со стека Hadoop на стек Apache Iceberg + Spark 3.5 + Apache Airflow
- Реализация недостающих реплик для витрин данных
- Переработка существующих решений на целевом стеке
- Построение и развитие витрин данных, участие в тестировании
- Наполнение и актуализация технической документации
Требования
- Уверенные знания SQL и Python
- Опыт работы с Apache Spark
- Практический опыт работы с хранилищами данных на базе Hadoop / S3
- Знание и опыт работы с Apache Iceberg
- Опыт использования Apache Airflow
- Понимание форматов хранения данных, в том числе Parquet
- Опыт работы с Git, CI/CD, Jira, Confluence
- Базовые знания Kafka
Условия
- Карьерную и профессиональную возможность в стабильной, аккредитованной ИТ-компании
- Расширенный полис ДМС со стоматологией
- Удаленную работу и гибкий график
- Обучение, сертификацию, клуб английского языка
- Геймифицированную программу лояльности