42Dot
LLM Engineer (LLM Evaluation)
1mo ago
WorldwideSeniorRemotepythonkubectlargo workflowsmlflowgpudatadogprometheus
Responsible for designing and implementing evaluation frameworks and automated workflows to assess and improve large language models' performance.
About the company
- 42dot은 소프트웨어와 AI로 모빌리티 문제를 해결하기 위해 노력하는 모빌리티 AI 기업입니다. 현대자동차그룹 글로벌 소프트웨어 센터로서, 42dot은 소프트웨어 정의 차량 개발을 선도하며 미래 모빌리티를 개척하고 있습니다.
- LLM Engineer (LLM Evaluation)는 대규모 언어 모델(LLM)의 성능을 신뢰성 있게 평가하고, 평가 결과를 기반으로 모델 품질을 지속적으로 개선할 수 있는 평가 체계와 플랫폼을 구축합니다.
- 빠르게 변화하는 LLM 환경 속에서 benchmark dataset, evaluation protocol, automation pipeline을 설계하여 모델의 품질과 안정성을 지속적으로 향상시키고, 실서비스 수준의 검증 체계를 운영하는 데 기여합니다.
- 또한 Kubernetes 기반 환경에서 Argo Workflows 및 MLflow를 활용하여 모델 평가–실험 관리–배포 검증까지 이어지는 end-to-end evaluation workflow를 구축하고, 반복 가능하고 재현성 있는 평가 환경을 고도화합니다.
Responsibilities
- LLM Evaluation & Benchmark 설계 LLM 성능 평가를 위한 벤치마크 데이터셋 구축 및 평가 지표(Human/LLM-based) 설계
- 공정한 모델 비교를 위한 평가 프로토콜 수립 및 재현성(Reproducibility) 확보
- Evaluation Automation 및 Workflow 연동 Argo Workflows, MLflow 기반의 평가 자동화 환경 구축 및 ML 파이프라인 통합
- 모델 배포 시 성능 저하(Regression) 자동 감지 및 알림 체계 설계
- Model Quality Validation 및 운영 고도화 반복 가능한 평가 워크플로우를 통한 대규모 모델 품질 및 안정성 검증
- 평가 결과를 바탕으로 한 지속적인 모델 품질 개선 프로세스 운영
Requirements
- LLM 학습 또는 평가 관련 분야 3년 이상 경력
- Deep Learning 또는 NLP 관련 연구 및 개발 경험
- LLM evaluation framework 사용 경험 (lm-eval, HELM, OpenAI Evals 등)
- Python 기반 서비스 개발 경험 (async/비동기 처리 포함)
- 실험 관리 및 reproducibility에 대한 이해
- 모델 평가 및 validation workflow 설계 경험
- 동료와의 원활한 협업 능력
Nice to have
- Kubernetes 및 컨테이너 기반 환경 개발 경험
- 대규모 데이터 처리 또는 pipeline 설계 경험
- GPU 기반 분산 inference 또는 대규모 모델 평가 경험
- Datadog, Prometheus 등을 활용한 모니터링 구축 경험
- MLflow, Argo Workflows 기반 ML workflow 운영 경험
- GPU 클러스터 기반 evaluation pipeline 설계 및 운영 경험
- LLM 품질 평가 자동화 및 운영 경험
How to apply
- 서류전형 - 코딩테스트 - 화상면접 (1시간 내외) - 대면 혹은 화상면접 (3시간 내외) - 최종합격
- 전형절차는 직무별로 다르게 운영될 수 있으며, 일정 및 상황에 따라 변동될 수 있습니다.
- 전형일정 및 결과는 지원서에 등록하신 이메일로 개별 안내드립니다.
Other
- 이력서 제출 시 주민등록번호, 가족관계, 혼인 여부, 연봉, 사진, 신체조건, 출신 지역 등 채용절차법상 요구 금지된 정보는 제외 부탁드립니다.
- 모든 제출 파일은 30MB 이하의 PDF 양식으로 업로드를 부탁드립니다. (이력서 업로드 중 문제가 발생한다면 지원하시고자 하는 포지션의 URL과 함께 이력서를 으로 전송 부탁드립니다
- 인터뷰 프로세스 종료 후 지원자의 동의하에 평판조회가 진행될 수 있습니다.
- 국가보훈대상자 및 취업보호 대상자는 관계법령에 따라 우대합니다.
- 장애인 고용 촉진 및 직업재활법에 따라 장애인 등록증 소지자를 우대합니다.
- 42dot은 의뢰하지 않은 서치펌의 이력서를 받지 않으며, 요청하지 않은 이력서에 대해 수수료를 지불하지 않습니다.
- 3개월의 수습기간이 적용될 수 있습니다.
- 42dot이 일하는 방식, 42dot Way 보러가기 →
- 42dot만의 업무몰입 프로그램, Employee Engagement Program 보러가기 →