Компания не указана

Data Engineer

1 мес. назад

200k RUB / monthRussiaMiddleRemote

trinoicebergs3sparkapache airflowkafkacosmosflink

Ищем Data Engineer на проект с длительным сроком, работа удалённо, зарплата от 200 000 ₽.

Сбор требований от бизнес-заказчиков и анализ источников данных
Разработка, реализация и сопровождение интеграционных потоков и витрин данных
Разработка решений на стеке Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink
Оперативное решение инцидентов и выполнение задач в зоне ответственности
Поддержка и актуализация технической документации по платформе больших данных
Подготовка отчетности по выполненным задачам

Понимание архитектуры Lakehouse и принципов работы платформ больших данных
Понимание отличий Big Data/Lakehouse от классических систем хранения данных
Уверенное знание SQL (индексы, функции, оптимизация запросов, профилирование производительности)
Знание Python и/или Java
Опыт работы с реляционными СУБД (Oracle, PostgreSQL, MySQL, MS SQL и др.)
Уверенное владение Git
Опыт работы с DBT, Cosmos, Apache NiFi
Опыт разработки на Apache Spark
Понимание принципов работы Trino
Знание форматов данных Iceberg, Parquet, Avro
Опыт работы с S3-совместимыми хранилищами (MinIO или аналогами)
Опыт работы с системами управления проектами и технической документацией