Компания не указана

Data Engineer

3 нед. назад

SerbiaEuropeJuniorOnsite

pythonpysparkapache airflowsqlclickhousepostgresqls3hdfs

Наша продуктовая iGaming компания в поиске Data Engineer в Сербии, готового стать частью команды. Проект включает хранилище данных для аналитики и Data Science (не облако) с задачами написания ETL-процедур и архитектурных решений.

О компании

Наша продуктовая iGaming компания

О продукте

Проект: Хранилище данных для аналитики и Data Science (не облако)

Обязанности

Написание ETL-процедур, слоев, витрин, применение архитектурных подходов
Разработка и поддержка витрин данных для аналитики эффективности провайдеров, управления трафиком и портфелем контента
Построение и сопровождение ETL/ELT-процессов для аналитических продуктов подразделения
Разработка инфраструктуры для мониторинга ключевых показателей провайдеров, включая алерты и автоматический контроль качества данных
Поддержка и развитие аналитических сервисов для принятия решений по масштабированию и оптимизации

Требования

Опыт работы Data Engineer 1–3 года
Продвинутый уровень Python: опыт в PySpark и Apache Airflow
Глубокое знание SQL: умение писать и оптимизировать сложные запросы, проводить review
Понимание работы СУБД ClickHouse и PostgreSQL, знание их внутренних механизмов и конфигураций
Опыт работы с большими данными: понимание распределенных систем хранения (S3, HDFS), работа с форматами данных Parquet, Avro; знание методологий моделирования данных
Интеграция данных из разнообразных источников: навыки получения и обработки данных через JDBC, REST API, Kafka, чтение из файловых систем (JSON, Parquet, S3)
Опыт настройки конвейеров в GitLab CI/CD, контейнеризация приложений с использованием Docker и их оркестрация в Kubernetes
Настройка и использование Grafana для визуализации метрик и отслеживания состояния систем
Знание архитектур DWH, опыт проектирования слоев данных и ETL-процессов

Условия

Формат работы: офис