Россия
ЯндексNLP-разработчик в команду качества претрейна Alice LLM
2 нед. назад
РоссияMiddleOnsite
nlpllmpythoncpugpurlpretrainfiltering
Ищем ML-разработчика для улучшения качества претрейна базовой модели Alice AI LLM, которая используется в массовом AI-ассистенте Алиса с более чем 24 млн пользователей в неделю.
О компании
- Компания «Яндекс» — крупная IT-компания, разрабатывающая AI-ассистента Алису, которым пользуются более 24 млн человек еженедельно.
О продукте
- Alice AI — семейств6 моделей, улучшаемых на этапе претрейна для повышения умных способностей и качества данных.
- Текущие модели успешно показали себя в предыдущих релизах, с улучшениями в фактовых и культурных срезах.
- Основные задачи связаны с улучшением способностей ризонинга и расширением возможностей модели в различных областях, включая финансы и компьютерные игры.
Обязанности
- Ставить и анализировать вычислительно тяжёлые эксперименты с претрейн-моделями.
- Проверять гипотезы об источниках прироста ризонинг-способностей модели.
- Построение и масштабирование пайплайнов сбора, синтеза, обработки и фильтрации обучающих данных в новых доменах.
- Модификация процесса обучения модели для улучшения рисонинга и оценка влияния изменений.
- Обучение экспертных моделей-верификаторов, генераторов обучающих данных и моделей-фильтров для повышения качества.
- Исследование законов скейлинга качества модели с точки зрения данных и вычислительных ресурсов.
Требования
- Глубокое понимание NLP.
- Опыт программирования на Python.
- Опыт обучения претрейн-моделей в любой из модальностей (NLP, CV, звук, рекомендации) будет плюсом.
- Опыт построения эффективных CPU/GPU-пайплайнов будет плюсом.
- Знание одной из областей исследования языковых моделей (RL, архитектуры, данные для LLM) будет плюсом.