2Гис

Data Engineer в команду CDP

New

RussiaRemotekafkaclickhousesparkpythonscala

Data Engineer в команду CDP компании 2Гис для разработки и улучшения высоконагруженных потоковых и пакетных пайплайнов обработки данных.

Повысить эффективность пайплайнов для расчета с daily-признаков на основе batch процессинга.
Создать эффективный пайплайн для расчёта realtime-признаков на основе Kafka‑топиков.
Проектировать и разрабатывать сервисы, обрабатывающие миллиарды событий пользователей.
Решать сложные инженерные задачи: расчеты метрик, построение витрин.
Работать с потоками данных и интеграциями между CDP и другими системами 2ГИС.
Влиять на архитектурные решения и качество кода.
Работать в распределенной команде, взаимодействуя с аналитиками, продактами и инженерами других направлений.

Опыт работы с highload-системами.
Опыт проектирования архитектуры данных или платформенного кода.
Опыт работы с Kafka, ClickHouse или другими системами потоковой и аналитической обработки данных.
Хорошо понимает, как работает Spark и умеет его готовить.
Хорошо владеешь одним из языков программирования (например, Python или Scala).
Самостоятельность и проактивность — ты не ждешь постановок, а предлагаешь решения.
Желание разбираться в бизнес-логике и создавать продукт, а не просто писать код.