SPBDev
Data Engineer middle+ (ритейл)
1w ago
200000 –280000 RUB / monthRussiaMiddleRemotegreenplumtrinoapache airflowclickhousepythonsparksqls3+16
Data Engineer middle+ role for a retail company, working remotely with a tech stack including Greenplum, Trino, Apache Airflow, ClickHouse, Python, Spark, SQL, S3, and Hadoop.
About the company
- Сфера: Ритейл
Responsibilities
- Сбор требований с бизнес-заказчиков и анализ источников данных
- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок
- Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных
- Предоставление отчетности о своей деятельности руководителю
Requirements
- Общее представление о стеке технологий Lakehouse
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера
- Знание SQL (индексы, функции, оптимизация, профилирование производительности)
- Знание языков программирования (JAVA, Python)
- Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.)
- Умение работать с Git (знание команд git pull/commit/push)
- Опыт работы с DBT, Cosmos, Ni-Fi
- Опыт разработки на Spark
- Понимание особенностей Trino
- Понимание форматов данных Iceberg, Parquet, Avro
- Понимание работы с minio или любого другого хранилища на основе S3
- Опыт использования системами ведения проектов и документации
Conditions
- Локация: Любая
- Формат: удаленно
- Период: Долгосрок
- Оплата - 200-280тр/мес
- Опыт - от 4х лет
Found in@ml_data_science_job