Token Engineer

2 нед. назад

South KoreaWorldwideMiddleHybrid

apidata modelingcost managementperformance monitoringsecurity

Responsible for designing and implementing token management and optimization solutions to manage AI usage cost, performance, security, and reliability.

О компании

영상은 전 세계 데이터의 90%를 차지하지만, 그 대부분은 아직 기계가 이해할 수 없는 영역에 머물러 있습니다. 트웰브랩스(TwelveLabs)는 이 문제를 해결하기 위해 기계가 영상을 이해할 수 있도록 하는 AI 인프라를 구축합니다. 사람보다 더 정교하고 깊이 있게 영상을 이해하는 AI 모델을 통해 영상 속 시·청각 정보를 종합 분석하여 미디어·엔터테인먼트, 스포츠, 보안, 공공 분야 전반의 워크플로우에 적용하고 있습니다. NEA, Radical Ventures, Amazon, NVIDIA, Snowflake, Databricks, Index Ventures, 네이버벤처스, 한국투자파트너스, Quadrille Capital, Red Bull Ventures 등 글로벌 투자자들로부터 누적 3천억원 이상의 투자를 유치했습니다. 또한 Fei-Fei Li, Silvio Savarese, Alexandr Wang 등 세계적인 AI 리더들이 자문진으로 함께하고 있습니다. 트웰브랩스는 샌프란시스코, 서울, 뉴욕, 런던 네 개의 오피스를 거점으로 운영되는 글로벌 기업입니다. 핵심 연구개발은 서울에서 이루어지며, 전 세계 오피스의 구성원들이 이를 기반으로 다양한 산업과 시장에 영상 이해 기술을 적용해가고 있습니다. 세상의 복잡함을 이해하는 기술을 만드는 만큼, 서로 다른 배경과 관점을 가진 사람들이 모일 때 더 나은 제품을 만들 수 있다고 믿습니다. 아직 세상에 없는 답을 정의해보고 싶으신 분, 내 손으로 직접 변화를 만들어내고 싶어하시는 분을 찾고 있습니다. 트웰브랩스에서 세상을 이해하는 기술을 함께 만들어가세요.

Обязанности

토큰(token) 은 대규모 언어 모델과 AI 코딩 도구가 입력과 출력을 처리하는 사용량 단위입니다. Token Engineer는 AI 사용을 단순히 줄이거나 비용을 사후 점검하는 역할이 아닙니다. 연구자와 엔지니어가 AI를 적극적으로 활용하면서도 비용, 성능, 보안, 안정성을 일관되게 관리할 수 있도록 토큰 관리 및 최적화 솔루션을 만드는 역할입니다.
여러 AI 도구와 모델 제공자가 각기 다른 사용량 및 비용 정보를 제공하는 환경에서, 이 역할은 요청 단위의 계측부터 중앙 정책과 자동 통제까지 이어지는 하나의 시스템을 설계하고 구현합니다. 어떤 도구와 모델이 실제 업무 성과에 도움이 되는지 측정하고, 비정상적인 사용을 빠르게 감지하며, 근거 있는 사용 기준을 운영 가능한 정책으로 바꿉니다.
초기 설계부터 프로덕션 운영까지 직접 책임지게 됩니다. Infrastructure, Security, Finance, IT, Research, Product, Engineering과 협업하면서, 사람의 수동적인 개입에 의존하지 않는 안전하고 투명한 AI 사용 환경을 구축합니다.
여러 AI 코딩 도구와 모델 API의 토큰 사용량, 비용, 모델, 지연 시간, 오류, 재시도, 사용자 및 팀 정보를 하나의 표준 데이터 모델로 수집하는 계측 파이프라인을 설계하고 구현합니다.
일별 사용량과 비용을 거의 실시간으로 파악할 수 있는 대시보드, 자동 알림, 이상 징후 탐지 시스템을 구축하고, 제공자 청구 내역과 내부 계측 결과가 일치하는지 지속적으로 검증합니다.
인증, 권한, 사용 한도, 예산 기준, 요청 속도 제한, 모델 및 제공자 라우팅, 캐시, 재시도, 감사 로그를 중앙에서 관리하는 AI 게이트웨이와 제어 계층을 설계하고 운영합니다.
과거 사용 데이터와 실제 업무 효과를 바탕으로 합리적인 기준선을 만들고, 생산성과 실험 속도를 해치지 않으면서 과도한 비용과 운영 위험을 막는 정책을 정의합니다.
원시 토큰 수나 청구 금액만 보지 않고, 성공한 작업당 비용, 지연 시간, 실패율, 재시도율처럼 실제 효율을 설명하는 지표를 설계합니다.
AWS와 Kubernetes 환경에서 안전하고 확장 가능한 서비스를 구축하고, Infrastructure as Code, 비밀정보 관리, 역할 기반 접근 제어, 데이터 보존 정책을 적용합니다.
시스템의 서비스 수준 목표, 운영 절차, 장애 대응 체계를 정의하고, 비용 급증이나 제공자 장애가 발생했을 때 원인을 빠르게 좁히고 복구할 수 있는 도구를 만듭니다.
각 팀이 자신의 사용 현황과 개선 기회를 스스로 이해할 수 있는 셀프서비스 도구와 문서를 제공하고, 반복적인 수동 확인을 자동화합니다.
새로운 모델과 제공자의 품질, 비용, 지연 시간, 안정성을 비교하고, 업무 특성에 맞는 라우팅과 최적화 방안을 제안하고 구현합니다.
다양한 직군의 요구를 기술 설계로 바꾸고, 우선순위와 상충 관계를 명확히 설명하며, 모호한 문제를 실제 운영 가능한 시스템으로 끝까지 완성합니다.

Требования

인프라, 플랫폼, 백엔드 또는 엔지니어링 분야에서 5년 이상 일했거나, 이에 준하는 깊이로 프러덕션 환경을 구축하고 운영한 경험이 있으신 분
AWS와 Kubernetes를 활용해 실제 서비스를 구축하고 운영했으며, Terraform과 같은 Infrastructure as Code 도구로 반복 가능한 환경을 만든 경험이 있으신 분
Python 또는 Go로 운영 도구가 아닌 장기적으로 유지되는 프로덕션 서비스를 개발할 수 있으신 분
로그, 메트릭, 분산 추적과 같은 관측성 데이터를 설계하고, 장애나 성능 저하의 근본 원인을 데이터로 찾아낸 경험이 있으신 분
API 게이트웨이, 프록시, 네트워크, 인증 및 권한 관리 중 하나 이상의 영역을 깊이 다뤄본 경험이 있으신 분
사용량 계측, 과금, 할당량, 비용 배분 또는 대규모 이벤트 처리 시스템을 설계하거나 운영한 경험이 있으신 분
보안, 안정성, 비용, 개발자 경험 사이의 상충 관계를 이해하고, 현실적인 설계 결정을 내릴 수 있으신 분
요구사항이 완전히 정리되지 않은 상황에서도 문제를 구조화하고, 설계부터 배포와 운영까지 주도적으로 완성한 경험이 있으신 분
기술적 내용을 엔지니어와 비전문가 모두에게 명확하게 설명하고, 여러 조직과 합의점을 만들어낼 수 있으신 분
단기적인 수동 대응에 머무르지 않고, 같은 문제가 반복되지 않도록 자동화와 시스템 개선으로 연결하는 분

Будет плюсом

대규모 언어 모델 API, AI 게이트웨이, 모델 서빙 또는 AI 코딩 도구를 위한 내부 플랫폼을 구축한 경험
OpenTelemetry, Prometheus, Grafana, Loki, Tempo 등으로 관측성 플랫폼을 구축하고 운영한 경험
클라우드와 AI 비용을 기술적으로 측정하고 최적화하는 FinOps, 비용 귀속, 내부 정산 체계를 다뤄본 경험
요청별 사용량 계측, 구독 및 과금, 할당량, 속도 제한, 정책 엔진을 구현한 경험
OIDC, SSO, SCIM, 역할 기반 접근 제어, 비밀정보 관리 및 감사 로그를 포함한 엔터프라이즈 보안 경험
시계열 데이터의 이상 징후 탐지, 비용 예측 또는 용량 계획을 실제 운영에 적용한 경험
여러 모델 제공자를 대상으로 품질, 비용, 지연 시간에 따라 요청을 라우팅하거나 장애 시 우회 경로를 설계한 경험
개발자 플랫폼이나 셀프서비스 인프라를 만들어 조직 전체의 운영 부담을 줄인 경험
명시된 모든 요건을 충족하지 않더라도, 복잡한 인프라 문제를 깊이 파고들어 실제로 운영되는 시스템으로 완성해 온 분이라면 지원을 권합니다.

Другое

글로벌 B2B 고객과 함께 성장하는 Global Team
자율성과 협업을 모두 갖춘 하이브리드 근무
최신 맥북 및 70만 원 상당 재택근무 장비 지원, 3년 주기로 최신 장비 교체
Tokens never sleep - Tech 직군 LLM 토큰 무제한 지원
강의, 컨퍼런스, 멤버십 등에 사용 가능한 연 140만원 상당 자기개발비 지원
영어 교육 프로그램 및 글로벌 버디 프로그램 운영
야간 및 주말 출퇴근 택시비 지원
식비·교통비 등 자유롭게 사용할 수 있는 연 720만원 상당 법인카드 제공
사무실 내 스낵바 운영 (간식, 커피, 제철 과일 등)
사무실 근무 시, 오후 7시 이후 저녁 식대 제공
연 1회 본인 및 가족 1인의 건강검진 제공
단체보험 가입 (상해보험/치아보험/가족 상해보험 중 택 1)
독감 예방접종비 지원
연말 2주간 유급 Holiday Break 운영