РоссияСистемы и Алгоритмы
Data-engineer
вчера
270k–295k RUBРоссияSeniorRemoteB1
postgresmssqltrinostarrockscassandraredisapache airflowapache kafka
Аккредитованная ИТ-компания "Системы и Алгоритмы" ищет опытного инженера данных для участия в масштабном проекте цифровой трансформации с использованием современного технологического стека.
О компании
- Аккредитованная ИТ-компания "Системы и Алгоритмы"
Обязанности
- Планирование и проведение внедрения инструментов хранения и обработки данных.
- Проектирование целевой архитектуры хранилищ.
- Анализ потоков данных и выбор релевантного инструментария.
- Написание DAG, кастомных операторов и интеграций на Python.
- Работа с современными data-инструментами и проектирование пайплайнов.
- Обеспечение качества данных.
- Оптимизация SQL-запросов и настройка ресурсов кластеров.
- Организация хранения данных для OLAP / OLTP с учетом требований consistency / integrity.
- Организация обработки данных в рамках задач OLAP / OLTP с применением batch processing, CDC.
- Понимание и применение паттернов организации интеграционных потоков (batch processing, CDC).
- Структурирование информации, работа с требованиями, документирование технических решений.
- Заведение и сопровождение заявок в Service-Desk.
Требования
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
- Уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
- Практический опыт работы с Apache Airflow (написание DAG, кастомные операторы).
- Опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
- Опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
- Опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
- Глубокие знания архитектуры данных и баз данных: нормализация/денормализация, проектирование relational и columnar моделей, управление данными (lifecycle, retention, versioning).
- Уверенное владение Python, включая написание скриптов, модулей, работу с асинхронностью, DAG в Apache Airflow, кастомные операторы, hooks, sensors.
- Навыки оптимизации: профилирование процессов, нахождение bottlenecks.
- Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации).
- Опыт организации хранения и обработки данных c учетом требований consistency / integrity и применением batch processing, CDC.
- Понимание сценариев применения integration flow паттернов (batch processing, CDC) по характеристикам (3V+).
- Навыки работы с технической документацией на английском языке.
Будет плюсом
- Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
- Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде.
- Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
- Опыт работы с CI/CD для data-пайплайнов.
- Понимание принципов DDD, event-driven архитектуры.
- Опыт работы с Apache NiFi.
Условия
- Формат работы: удаленно по РФ.
- Вид занятости: full-time.
- Локация: любой город РФ.
- Гражданство: РФ.
- Заработная плата: 270 000 - 295 000 р. gross.