X5 TechData Engineer (Python + Spark)
1w ago
RussiaOnsitepysparkspark sqlhadoophivetrinos3clickhousepostgres+7
Работа в X5 Tech на позиции Data Engineer с задачей создания и оптимизации Spark-пайплайнов для обработки больших объёмов данных, поддержкой DWH и интеграцией данных для моделей машинного обучения.
Responsibilities
- Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
- Настраивать хранение и доступность данных в DWH
- Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
- Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
- Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной
About the company
- Компания: X5 Tech
About the product
- Мы строим end-to-end пайплайны, которые собирают данные из разных источников (онлайн и оффлайн-продажи, ERP, внешние API), очищают, трансформируют и подготавливают их для моделей машинного обучения (бустинг и нейронные сети). От качества этих пайплайнов зависит точность прогноза и миллионы управленческих решений в закупках и логистике
Requirements
- Опыт работы с PySpark{2,3} / Spark SQL
- Знание Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
- Опыт работы с Airflow
- Владение Python3
- Навыки работы с Docker, YARN / k8s
- Умение писать тесты с pytest
Found in@job_python