2ГИСData Engineer (SMT)
1w ago
250000 RUB / monthRussiaRemotepythonscalasqlhadoophdfss3kafkaspark+1
Разработка с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform, миграция существующих пайплайнов на новую архитектуру, работа с большими объёмами данных и высоконагруженными Kafka-топиками в продуктовой IT-компании 2ГИС.
About the company
- 2ГИС — продуктовая IT-компания, которая помогают людям жить в городе, а бизнесу — находить клиентов.
- Они делают карту со справочником и навигатор.
- Их сервис работает в городах России, Казахстана, ОАЭ и ещё семи стран.
- Каждый месяц их продукты используют миллионы пользователей.
Responsibilities
- Разрабатывать с нуля MVP новой дата-платформы и инфраструктуры для ingest/transform.
- Мигрировать существующие пайплайны с Hadoop/HDFS на новую архитектуру (S3, Kafka, Spark, ClickHouse).
- Работать с большими объёмами данных и высоконагруженными Kafka-топиками.
Found in@data_science_job