2ГИСData Engineer (SMT)
1w ago
RussiaMiddleRemotesparkclickhousepythonscalasqlkafkadockerkubernetes+1
Вакансия Data Engineer с опытом 3+ лет в 2ГИС, работа удалённо в Москве, включающая разработку отказоустойчивых пайплайнов и работу с большими данными и современными технологиями.
Requirements
- Имеет 3+ лет опыта на позиции Data Engineer / Big Data Engineer.
- Хорошо понимает, как работает Spark и умеет его готовить.
- Работал с ClickHouse и знает, как "выжать" из него максимум.
- Знаком с построением дата-архитектуры (DWH, Lake, OLAP, ETL/ELT, Data Governance).
- Умеет проектировать пайплайны под отказоустойчивость.
- Хорошо владеет одним из языков программирования (например, Python или Scala).
- Знает SQL и может читать логику отчётов без боли.
Nice to have
- Опыт построения дата-платформ (Self-Service инструменты и процессы).
- Опыт работы с высоконагруженной Kafka (десятки / сотни тысяч событий в секунду).
- Знание инструментов мониторинга и автоматического контроля качества данных (Data Quality, Data Contracts).
- Опыт построения Data Lineage и работы с Data Catalog.
- Инфраструктурный опыт: Docker, Kubernetes, CI/CD.
Found in@bds_job