Мегафон
Python-разработчик (middle)
yesterday
RussiaMiddleOnsitepythongolangapache kafkapostgresqlsqlclickhouseetldocker+3
Python-разработчик (middle) в компании Мегафон, работа в офисе в Екатеринбурге. Основная задача — разработка и поддержка ETL процессов, потоковой обработки данных и баз данных для обеспечения высокой производительности и отказоустойчивости.
Responsibilities
- Проектирование, разработка, оптимизация и поддержка ETL процессов для загрузки данных из различных источников
- Управление потоковой обработкой данных с использованием Apache Kafka (разработка продюсеров/консьюмеров, управление топиками, обеспечение надежности и отказоустойчивости)
- Разработка и оптимизация структур данных, схем и запросов в PostgreSQL для операционных и транзакционных задач
- Построение, администрирование и тонкая настройка ClickHouse кластеров для обеспечения высокой производительности аналитических запросов на больших объемах данных
- Разработка и поддержка решений на базе ClickHouse (или связки PostgreSQL + ClickHouse)
- Интеграция данных между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3)
- Мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных
- Автоматизация процессов обработки данных и развертывания (CI/CD)
- Взаимодействие с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации
- Устранение неисправностей в pipeline данных и базах данных
Requirements
- Опыт работы от 2-х лет на Python, знание Golang (будет плюсом)
- Опыт разработки и администрирования ClickHouse (знание особенностей движков таблиц, оптимизация запросов, кластеризация, репликация, шардирование)
- Глубокое понимание и практический опыт работы с Apache Kafka, настройка и обеспечение надежности потоков данных
- Опыт работы с PostgreSQL (написание сложных SQL-запросов, оптимизация производительности, понимание механизмов транзакций, репликации)
- Понимание принципов построения ETL процессов
- Знание SQL на продвинутом уровне
- Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD) применительно к инфраструктуре данных
How to apply
- Откликнуться (https://job.megafon.ru/vacancy/ekaterinburg/it-reshenia/python-razrabotchik-middle-4680)
About the company
- Компания: Мегафон
Conditions
- #офис #middle
- Екатеринбург
Found in@job_python,@job_pythonz