Компания не указана

ML Engineer / LLM Engineer

1 нед. назад

Страна неизвестна

llmfine-tuningpost-trainingevaluationinferencepythonpytorchhugging face transformers

Ищем ML-инженера с опытом работы с LLM: fine-tuning, post-training, evaluation и inference.

Разработка и улучшение пайплайна LLM post-training: SFT, preference optimization, Offline / Online RL
Улучшение instruction following и построение системы benchmarking / evaluation
Обучение LoRA / QLoRA-адаптеров под различные домены и задачи
Работа с reward models / verifiers и reward functions для RL
Разработка RAG-систем: retrieval, reranking, context construction и evaluation
Обучение и интеграция tool use / function calling / structured outputs
Оптимизация inference и serving моделей с использованием vLLM / SGLang

Практический опыт fine-tuning / post-training LLM
Опыт с SFT и preference optimization: DPO / IPO / ORPO / SimPO или аналогами
Опыт или хорошее практическое понимание Online RL для LLM: GRPO / GSPO или аналогичных методов
Понимание reward models, preference data и LLM evaluation
Уверенное владение Python, PyTorch, Hugging Face Transformers
Опыт с TRL и/или verl
Опыт с LoRA / QLoRA / PEFT
Опыт inference / serving через vLLM и/или SGLang
Опыт разработки RAG, tool use или structured generation
Понимание архитектуры современных LLM и особенностей их обучения и inference
Опыт работы с GPU, distributed training и Linux / Docker / Git
Умение самостоятельно ставить эксперименты, выбирать метрики и анализировать результаты