Russia
X5Data Engineer (Python + Spark)
1 нед. назад
RussiaTraineeOnsite
pysparkspark sqlhadoophivetrinos3clickhousepostgres
Data Engineer internship role at X5 in Moscow office involving development and optimization of Spark pipelines and supporting Data Science workflows.
Обязанности
- Разрабатывать и оптимизировать Spark-пайплайны для обработки данных в масштабе (200+ млн строк ежедневно)
- Настраивать хранение и доступность данных в DWH
- Автоматизировать интеграцию данных: продажи, акции, цены, остатки, погода, календари
- Работать в связке с Data Science-командой, обеспечивая стабильный и качественный поток данных для моделей
- Участвовать в развитии платформы прогнозирования спроса, делая её более надёжной, масштабируемой и удобной
Требования
- PySpark{2,3} / Spark SQL
- Hadoop / Hive / Trino / S3 / clickhouse / postgres/ greenplum
- Airflow
- Python3
- Docker, YARN / k8s
- pytest
Условия
- Локация: Офис (Москва)
- Занятость: Полная
- Грейд: Intern
- ЗП: По договоренности