X5 TechData Engineer (Flink)
3 дн. назад
Страна неизвестнаMiddle
java corespring bootapache flinketlairflowtemporalsparkdask
Работа со потоковой обработкой данных на Apache Flink, разработка архитектуры потоков данных и Java-приложений для Big Data в компании X5 Tech.
Обязанности
- Разработка шаблонов потоков данных на основе Flink DataStream
- Реализация архитектуры потоков данных
- Написание и доработка Java приложений для Big Data
Требования
- Java Core: Глубокое понимание Java Core, включая ООП, многопоточность, коллекции, исключения и generics
- Spring Boot: Опыт разработки микросервисов и REST API с Spring Boot, включая Spring Data, Security, Actuator и AOP
- Apache Flink: Опыт работы с Apache Flink для потоковой обработки, включая DataStream API, state management, checkpoints и Flink CDC
- Дата-инженерия: Работа с ETL/ELT, потоковыми и batch-процессами; инструменты вроде Airflow и Temporal
- Проектирование фреймворков: Понимание принципов проектирования фреймворков и библиотек — код "для других разработчиков"
- Большие данные: Знание принципов работы с большими данными (Spark, Dask, pandas на больших датасетах — плюс)
- Базы данных: Опыт работы с PostgreSQL, ClickHouse; знание форматов данных Iceberg и Paimon
- CI/CD и DevOps: Навыки работы с CI/CD, контейнеризацией (Docker), оркестрацией (Kubernetes — плюс)
- Качество кода: Умение писать тесты (unit, integration), следить за качеством кода и его поддерживаемостью
- Опыт программирования на питоне: скрипты, микросервисы, приложения
Будет плюсом
- Увлеченность разработкой: Активный интерес к новым технологиям и методам разработки
- Хороший кругозор: Знание и понимание различных аспектов разработки, включая агентный
- Практический опыт: Доказанный опыт практической реализации проектов, особенно в области баз данных и автоматизации
Условия
- Полная занятость
- График: 5/2
- Формат работы: удалённо или гибрид или офис