RussiaCenticore
Инженер сопровождения Big Data Platform
4 нед. назад
320k–350k RUB / monthRussiaMiddleRemote
linuxkubernetesminioapache sparkairflowflinkkafkaapache iceberg
Компания Centicore ищет инженера сопровождения Big Data Platform для работы с Data Lake-платформой и S3/Object Storage инфраструктурой с удалённым форматом работы по РФ.
О компании
- Компания Centicore находится в поисках инженера сопровождения Big Data Platform.
- Компания Centicore находится в поисках инженера сопровождения Big Data Platform.
- Наша компания занимается продуктовой разработкой проектов наших Заказчиков под ключ.
- Наша компания занимается продуктовой разработкой проектов наших Заказчиков под ключ.
Обязанности
- Сопровождать и развивать Data Lake-платформу
- Сопровождать и развивать Data Lake-платформу
- Поддерживать S3/Object Storage инфраструктуру
- Поддерживать S3/Object Storage инфраструктуру
- Работать с Kubernetes, Apache Spark, Airflow, Flink, Kafka и Apache Iceberg
- Работать с Kubernetes, Apache Spark, Airflow, Flink, Kafka и Apache Iceberg
- Следить за состоянием платформы, настраивать мониторинг и алертинг
- Следить за состоянием платформы, настраивать мониторинг и алертинг
- Диагностировать и устранять production-инциденты
- Диагностировать и устранять production-инциденты
- Разбирать проблемы с производительностью платформы и storage-систем
- Разбирать проблемы с производительностью платформы и storage-систем
- Проводить RCA и разборы после инцидентов
- Проводить RCA и разборы после инцидентов
- Автоматизировать эксплуатационные задачи
- Автоматизировать эксплуатационные задачи
- Взаимодействовать с командами Data Engineering и инфраструктуры
- Взаимодействовать с командами Data Engineering и инфраструктуры
Требования
- Экспертный опыт администрирования Linux
- Экспертный опыт администрирования Linux
- Опыт сопровождения высоконагруженных распределённых систем
- Опыт сопровождения высоконагруженных распределённых систем
- Понимание S3/Object Storage и архитектуры распределённых хранилищ
- Понимание S3/Object Storage и архитектуры распределённых хранилищ
- Опыт сопровождения Kubernetes-платформ
- Опыт сопровождения Kubernetes-платформ
- Практический опыт работы с MinIO или другими Object Storage решениями
- Практический опыт работы с MinIO или другими Object Storage решениями
- Опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
- Опыт эксплуатации компонентов Data Lake: Apache Spark, Airflow, Flink, Kafka, Apache Iceberg
- Понимание replication, erasure coding, consistency и fault tolerance
- Понимание replication, erasure coding, consistency и fault tolerance
- Навыки troubleshooting CPU, RAM, network, disk I/O, latency и throughput
- Навыки troubleshooting CPU, RAM, network, disk I/O, latency и throughput
- Опыт работы с Prometheus, Grafana, алертингом и анализом логов
- Опыт работы с Prometheus, Grafana, алертингом и анализом логов
- Ansible, Terraform, Bash или Python
- Ansible, Terraform, Bash или Python
- Понимание incident/problem management, RCA и postmortem
- Понимание incident/problem management, RCA и postmortem
Будет плюсом
- Не обязательно знать весь перечисленный стек. Если есть хороший опыт с S3/Object Storage, Kubernetes и частью компонентов Data Lake, остальному готовы обучить.
- Не обязательно знать весь перечисленный стек. Если есть хороший опыт с S3/Object Storage, Kubernetes и частью компонентов Data Lake, остальному готовы обучить.
Условия
- Формат работы: удалённо по РФ
- Формат работы: удалённо по РФ
- Зарплата: 320 000–350 000 рублей на руки
- Зарплата: 320 000–350 000 рублей на руки
- Уровень: middle+
- Уровень: middle+