РоссияКомпания не указана
Applied Scientist / MLOps Engineer (Обезличивание данных / Privacy AI)
21 ч. назад
1200–1500 RUB / часРоссияSeniorRemote
pythonpandasnumpyscikit-learnrandomforesthugging face transformersspacyfastapi
Разработка и развитие ML моделей для обезличивания персональных данных на больших объемах данных с использованием NLP и MLOps практик.
Обязанности
- Развитие классификатора данных для полей БД (Tabular ML)
- Развитие существующей ML-модели (RandomForest), которая выявляет ПДн в полях баз данных на основе метаданных и значений.
- Обучение модели распознаванию новых типов данных (например, VIN-номера, специфические идентификаторы).
- Повышение качества классификации: исправление ошибок (например, обнаружение сложных форматов телефонов).
- Решение задачи со «смешанными данными»: обучение модели корректно работать, когда в одной колонке БД вперемешку находятся ФИО, адреса и телефоны.
- Оптимизация модели для высокой скорости работы на CPU, так как системе предстоит проводить полное сканирование БД объемом в несколько ТБ.
- Создание модели для выявления данных в произвольном тексте (NLP / NER)
- Разработка архитектуры и обучение NER-модели (Named Entity Recognition) для поиска ПДн в неструктурированном тексте.
- Работа с различными форматами файлов: TXT, DOCX, PDF (включая распознавание текста) и логами.
- Реализация пайплайнов очистки и нормализации «шумных» данных перед подачей в модель.
Требования
- Опыт разработки и внедрения ML-моделей в production от 3-х лет.
- Опыт ведения полного цикла: от исследования и постановки задачи до мониторинга качества и настройки автоматического ретренинга.
- Готовность возглавить направление, самостоятельно декомпозировать бизнес-задачи на технические и нести ответственность за результат.
- Уверенное владение Python (pandas, numpy, scikit-learn).
- Глубокое понимание классических ML-алгоритмов (деревья решений, ансамбли, Random Forest), умение интерпретировать результаты (Feature Importance) и подбирать гиперпараметры.
- Практический опыт работы с Hugging Face Transformers и/или SpaCy. Обязателен опыт обучения NER-моделей.
- Опыт построения пайплайнов обработки неструктурированных данных (PDF, тексты).
- Навык Feature Engineering для табличных данных.
- Опыт оптимизации инференса моделей для работы на CPU.
- Опыт работы с большими объемами данных (полное сканирование БД от нескольких ТБ).
- Опыт развертывания моделей через API (FastAPI), контейнеризация (Docker).
- Владение инструментами версионирования (MLflow, DVC), понимание CI/CD-процессов.
- Опыт настройки мониторинга качества моделей (Model Drift, Quality Gates) и организации автоматического ретренинга.
Будет плюсом
- Опыт работы именно с классификаторами для профилирования данных БД.
- Опыт распознавания специфических типов данных (VIN, номера карт, крипто-адреса).
- Опыт в области защиты ПДн, обезличивания данных или антифрод-систем.
Условия
- Удаленная работа.
- Занятость: фуллтайм.
- Оформление по договору с ИП.
- Оплата от 1200 до 1500 рублей в час.
- Возможность влиять на архитектуру сложного AI-продукта с нуля.
- Работа с реальными Big Data задачами (TB+).
- Современный стек и отсутствие легаси.