Bilim Group
Senior Data Engineer
3d ago
1300000 –1500000CISSeniorRemotepythonpolarspandastemporalpostgresqlmongodbkafkapub/sub+1
Senior Data Engineer в Bilim Group, работа в образовательной сфере Казахстана с удалённым форматом, зарплата 1 300 000 - 1 500 000 тенге.
Responsibilities
- Загрузка и регулярное обновление мастер- и справочных данных платформы: госзаказ, справочники, система специальностей и квалификаций, контингент, дипломы, оценки, аттестаты, директора, обновления по колледжам
- Поддержка и разработка конвейеров ingestion (ETL): каталоги / атрибуты /оркестрация
- Нормализация, валидация и маппинг данных из разнородных и легаси-форматов; постоянный контроль качества загрузок
- Сопровождение контрактов данных на стыке с CDC-контуром (Mongo → Kafka → PostgreSQL, Pub/Sub со смежными сервисами)
- Сопровождение методологии отчетности и выгрузок: поддержка рабочих отчетов, участие в регулярной подготовке государственной отчётности
- Документирование пайплайнов, структуры данных и методологии
Requirements
- Python для ETL: Polars / pandas, пайплайны as-code
- Оркестрация пайплайнов: Temporal (или Airflow-подобные)
- Базы данных и хранилища: PostgreSQL, MongoDB
- Моделирование и обработка справочных / мастер-данных: нормализация, версионирование, маппинг разнородных форматов
- Потоковые данные и CDC: Kafka, MongoDB, Pub/Sub, Debezium
- Структура государственных образовательных данных РК: знание профильных систем — сильное преимущество
- Гос. форматы и справочники: понимание форматов государственных данных, справочников (КАТО и др.), ЭЦП и согласий в государственных потоках
- Реверс-инжиниринг данных: способность восстанавливать недокументированную структуру данных и методологию отчётов и доводить их до документации
Conditions
- Прокачка знаний — доступ к курсам Kitap.kz (http://Kitap.kz/), Bilimland.com (http://Bilimland.com/), Lerna.kz (http://Lerna.kz/) и другим образовательным платформам
- Языки — легко: изучай иностранные на Qlang.kz (http://Qlang.kz/) в удобном тебе ритме
- Кафетерий льгот — спорт, здоровье, обучение. Ты сам выбираешь, что важно
- BYOD — если работаешь со своим ноутом, мы это компенсируем
Found in@datajobskz