OZONData Engineer (направление качества пунктов выдачи)
1w ago
RussiaMiddleOnsitesqlapache airflowpythonpandaspysparkclickhouseverticatrino+4
Роль Data Engineer в компании OZON, фокус на построении и поддержке ETL/пайплайнов, развитии сервисной модели для аналитиков, повышении надежности и прозрачности data-процессов.
Responsibilities
- Построение и поддержка ETL/пайплайнов
- Разработка, оптимизация и мониторинг для гарантированной доставки данных
- Развитие сервисной модели для аналитиков
- Предоставление качественных, документированных и актуальных данных через витрины и инструменты автоматизации, сокращая время на рутинные запросы
- Повышение надежности и прозрачности
- Помощь во внедрении единых стандартов на тестирование, мониторинг и алертинг для всех data-процессов
About the product
- Оркестрация: Apache Airflow
- Обработка данных: SQL, Python (Pandas), Apache Spark (PySpark)
- Аналитические СУБД: ClickHouse, Vertica, Trino
- Инфраструктура и инструменты: Git, Docker, Hadoop (HDFS, Hive), Kafka
- Язык программирования: Python (Pandas, requests, асинхронное программирование)
Requirements
- Знание SQL (CTE, оконные функции, оптимизация запросов)
- Базовые навыки профилирования и оптимизации SQL-запросов (чтение explain plan, понимание индексов)
- Понимание принципов построения ETL/ELT-пайплайнов и опыт работы с Apache Airflow
- Базовые знания Python для целей обработки данных (Pandas, PySpark)
- Опыт работы с Git
- Понимание концепций распределенных систем и работы с большими данными (архитектура Spark, Kafka, Hadoop)
Found in@data_science_job