KODE
DevOps Engineer
4d ago
170000 –230000 RUBRussiaSeniorHybridkubernetesdockerhelmgitlab cigithub actionsprometheusgrafanaopentelemetry+4
Вакансия DevOps инженера в компании KODE с задачами по развертыванию и сопровождению LLM-инференс платформ, эксплуатацией AI-платформы в Kubernetes и оптимизацией производительности.
Responsibilities
- Развертывание, сопровождение и обновление LLM-инференс платформ (vLLM, SGLang, Ollama)
- Эксплуатация и развитие AI-платформы в Kubernetes, включая масштабирование и управление GPU-ресурсами
- Настройка AI Gateway (LiteLLM): маршрутизация запросов, API-ключи, квоты, лимиты и политики доступа
- Оптимизация производительности inference: batching, KV Cache, semantic cache, снижение latency и стоимости инференса
- Настройка мониторинга, логирования и трассировки (OpenTelemetry, Langfuse, SigNoz, Prometheus/Grafana)
- Автоматизация CI/CD процессов для инфраструктуры и моделей, поддержка GitOps-подхода
- Интеграция и сопровождение сервисов памяти, векторных хранилищ и компонентов RAG/Agentic AI
- Диагностика и устранение инцидентов, обеспечение стабильности и высокой доступности LLM-платформы
Requirements
- Опыт в роли DevOps от 4 лет
- Опыт администрирования Kubernetes в production, Docker, Helm, понимание GitOps-подходов
- Опыт эксплуатации LLM inference-серверов (vLLM, SGLang, Ollama или TGI) и понимание их архитектуры
- Хорошее понимание принципов работы LLM: токены, KV Cache, batching, streaming, квантование, RAG
- Практический опыт работы с GPU (NVIDIA/CUDA), распределением ресурсов и оптимизацией производительности
- Опыт настройки мониторинга и observability (Prometheus, Grafana, OpenTelemetry, SigNoz/Langfuse)
- Уверенные знания Linux, Docker, сетевого взаимодействия и диагностики инфраструктурных проблем
- Навыки автоматизации на Python и работы с CI/CD (GitLab CI/GitHub Actions)
- Опыт работы с Redis, PostgreSQL и API-шлюзами
- Знание LiteLLM, KEDA, Qdrant/Milvus будет преимуществом
Conditions
- Формат работы: удаленка, гибрид, офис
- Занятость: полная
- Удаленка только из городов РФ
- 2 этапа интервью
- Зарплатная вилка: от 170000 gross до 230000 gross
Found in@devops_jobs_feed,@DevOpsSRE_Jobs