VKДата-инженер в Дата-сервисы VK Tech, Москва
1w ago
RussiaHybridpythonairflowsqlclickhouseytgithadoopspark
Разработка и поддержка ETL/ELT-процессов, оптимизация запросов в распределённых системах, участие в миграции вычислительной платформы.
About the company
- VK
Responsibilities
- разрабатывать и поддерживать ETL/ELT-процессы с использованием Python и Airflow
- оптимизировать запросы и распределённые вычисления под ClickHouse и YT
- мониторить состояние ETL-процессов, обеспечивать их надёжность и наблюдаемость
- помогать аналитикам с оптимизацией их SQL-запросов и структур данных
- проектировать и поддерживать хранилище данных VK Tech (схемы, витрины, SCD)
- участвовать в миграции вычислительной платформы с YT на Hadoop/Spark
Requirements
- опыт разработки и поддержки ETL-процессов на Python + Airflow
- уверенное знание SQL (JOIN, оконные функции, CTE, агрегации)
- понимание концепций DWH: витрины данных, медленно меняющиеся измерения (SCD), слои raw/ods/cdm/dds
- опыт оптимизации запросов в распределённых системах (ClickHouse или Spark)
- знание Git (ветки, коммиты, pull requests, code review)
- умение читать и анализировать чужой код
Found in@job_python