ГУП Московский метрополитен

Data Engineer

4 ч. назад

РоссияMiddleOnsite

sqlpythondwhpysparktrinosparkairflowscala

Мы ищем талантливого Data Engineer для работы с большими данными в масштабе петабайт и развития платформы данных для телеметрии московского автономного транспорта (трамваев и метро).

О компании

Компания «ГУП «Московский метрополитен»»

О продукте

Уникальная возможность повлиять на будущее системы общественного транспорта Москвы через развитие платформы данных для телеметрии автономного транспорта (трамваев и метро).
Используются современные технологии: Python, Trino, Spark.
Проект связан с хранением и обработкой больших данных в масштабе петабайт.

Обязанности

Разрабатывать и запускать Spark-пайплайны для преобразования телеметрии автономного транспорта в данные, удобные для анализа.
Разрабатывать интеграции с различными системами и обеспечивать надёжную загрузку данных в хранилище.
Развивать архитектуру Data Lake / DWH.
Формировать общие подходы к разработке, мониторингу и сопровождению пайплайнов вместе с командой.

Требования

Практический опыт разработки и сопровождения пайплайнов данных.
Опыт работы с PySpark, Python и SQL.
Опыт работы с Data Lake / DWH и понимание принципов построения ETL/ELT-процессов.
Понимание принципов распределённой обработки данных.

Будет плюсом

Опыт работы с Trino+S3.
Опыт оркестрации пайплайнов с помощью Airflow.
Знакомство с Data Vault 2.0.
Знание Scala и опыт её использования для обработки данных.
Опыт развития платформы данных на ранних этапах: от выбора решений до их внедрения и сопровождения.

Условия

Трудоустройство и работа в соответствии с ТК РФ.
Компенсация проезда в пригородных электропоездах.
Льготы на отдых в оздоровительном комплексе метрополитена.
Детский оздоровительный лагерь и детский клуб.
Финансовые условия обсуждаются индивидуально в зависимости от опыта кандидата.