KazakhstanOnTarget Labs
AI Test Automation Engineer
2 нед. назад
4000–4500 USD / monthKazakhstanCISSeniorRemoteB2
pythonjavascripttypescriptpytestunittestpostmanrequestshttpx
Вакансия для AI Test Automation Engineer в международной компании OnTarget Labs с удалённым форматом работы из Алматы и з/п 4000–4500 $ в месяц до вычета налогов. Роль предполагает разработку и поддержку автоматизированных тестов backend-сервисов и AI-функций.
Обязанности
- Разработка и поддержка автоматизированных тестов для backend-сервисов и API
- Тестирование AI-функций и сервисов, включая проверку результатов и поведения моделей
- Интеграция AI evaluations в CI/CD pipelines для постоянного контроля качества AI
- Тестирование асинхронных и event-driven процессов
- Валидация data pipelines, работающих со структурированными данными, текстами и документами
- Тестирование нефункциональных требований: производительность, масштабируемость и надёжность
- Взаимодействие с backend-разработчиками и product-командой для определения критериев качества
- Участие в настройке CI checks и quality gates
- Подготовка и поддержка test reporting
- Мониторинг качества AI-систем при изменении моделей, промптов и данных
- Работа с системами, использующими AI / ML / LLM-компоненты
Требования
- Опыт автоматизации backend-тестирования от 3 лет
- Уверенное владение Python
- Уверенное владение JavaScript / TypeScript
- Опыт работы с pytest, unittest или аналогичными тестовыми фреймворками
- Опыт тестирования API с использованием Postman, Requests, HTTPX или аналогов
- Опыт работы с Docker
- Знание SQL для валидации данных
- Опыт тестирования backend-систем с AI / ML / LLM-компонентами
- Опыт работы с инструментами LLM evaluation: DeepEval, Ragas, LangSmith или аналогами
- Опыт тестирования производительности и масштабируемости систем
- Опыт работы с cloud-средами: AWS, GCP, Azure или аналогами
- Опыт создания или поддержки AI evaluations будет преимуществом
- Опыт работы с недетерминированными системами, включая flaky results и hallucinations, будет преимуществом
- Опыт contract testing с Pact или аналогами будет преимуществом
- Знание prompt engineering или RAG-based systems будет преимуществом
- Знакомство с инструментами observability: CloudWatch, Kibana, Grafana и аналогами будет преимуществом
- Базовые знания security testing, OWASP и API security будут преимуществом
- Опыт работы с synthetic test data будет преимуществом
- Английский язык — B2 и выше
Условия
- Полная занятость
- График 5/2
- Рабочий день 8 часов
- Формат работы: полностью удалённо
- Выплаты один раз в месяц
- Работа в международной компании по разработке программных продуктов
- Работа над современными продуктами с AI-powered функциональностью
- Возможности профессионального роста
- Возможность зарубежных командировок
- Работа в международной команде IT-специалистов