CROCOS
AI/ML Engineer (NLP)
1w ago
500000 –1000000 RUB / monthCISMiddleHybridllmmixture-of-expertsraglangchainllamaindexqdrantchromafaiss+6
Проектная занятость на 4 месяца (с возможностью перехода в штат) в компании CROCOS. Работа по развёртыванию и оптимизации open-source LLM, настройке RAG-систем и интеграции AI-диспетчера для крупной дорожной компании.
About the company
- ТОО CROCOS
Responsibilities
- Развёртывание open-source LLM (Mixture-of-Experts, ≥20B параметров) на on-premise GPU-сервере заказчика
- Настройка RAG-пайплайна: подключение базы знаний контакт-центра, настройка векторного поиска, chunking и retrieval-стратегий
- Конфигурация системных промптов, тональности ответов и фильтрации персональных данных
- Настройка function calling и генерации структурированного вывода (JSON/XML) для интеграций
- Оптимизация инференса: параллельная обработка запросов и управление GPU-памятью
- Интеграция LLM с low-code платформой через REST API
- Настройка мониторинга, логирования запросов и метрик качества ответов
- Подготовка технической документации по LLM-компоненту
Requirements
- Опыт развёртывания open-source LLM (Qwen, Mistral, DeepSeek, LLaMA и аналогов) от 1 года
- Понимание архитектур MoE, трансформеров и механизмов внимания
- Опыт построения RAG-систем с использованием LangChain, LlamaIndex или аналогов
- Опыт работы с векторными БД (Qdrant, Chroma, FAISS)
- Практический опыт работы с GPU-серверами (CUDA, vLLM, llama.cpp, Ollama или аналоги)
- Уверенное знание Python
- Понимание REST API
- Базовые знания Docker и Linux
- Навыки подготовки технической документации
Nice to have
- Опыт работы с ASR/TTS системами
- Опыт решения NLP-задач для казахского языка
- Опыт оптимизации моделей (quantization, GGUF, AWQ)
- Участие или достижения в соревнованиях Kaggle
Conditions
- Проектная занятость сроком на 4 месяца с возможностью перехода в штат
- Работа над внедрением AI-диспетчера (голосовой + чат-бот) для крупной дорожной компании
- Гибридный формат работы или удалённая работа по согласованию
- Современный стек: Python, LLM (MoE ≥20B), vLLM / llama.cpp, RAG, GPU Linux
- Выплаты за проект
- График работы: 5/2, 8-часовой рабочий день
- Старт проекта: июнь 2026 года
How to apply
- Контактное лицо: Картов Адлет
Found in@datajobskz