РоссияЛига Цифровой Экономики
Python developer
1 нед. назад
РоссияMiddleHybrid
pythonpysparkpandassqlhdfssparkhivepytest
Разработка и поддержка функциональности сервиса на Python с использованием стека Hadoop и инструментов для работы с большими данными, включая автоматизированное тестирование.
Обязанности
- Разрабатывать функциональность сервиса на Python
- Строить Data Lineage на логическом уровне витрин на основе существующего графа движения данных на табличном уровне
- Реализовывать обработку, преобразование и агрегацию связей между объектами данных
- Работать с большими объемами данных с использованием PySpark, pandas, SQL
- Работать с Hadoop-стеком: HDFS, Spark, Hive
- Дорабатывать существующий фреймворк автоматизированного тестирования
- Разрабатывать и поддерживать автотесты для создаваемой функциональности
- Участвовать в анализе и устранении дефектов
Требования
- Опыт разработки на Python от 2 лет
- Практический опыт работы с PySpark и pandas
- Отличное знание SQL
- Опыт работы со стеком Hadoop: HDFS, Spark, Hive
- Понимание принципов обработки больших объемов данных
- Опыт написания автоматизированных тестов на Python
- Готовность отвечать за качество разработанной функциональности и ее автоматизированную проверку
- Умение разбираться в существующем коде и самостоятельно решать технические задачи
Будет плюсом
- Опыт работы с Data Lineage, Data Governance или Metadata Management
- Опыт с Oracle, PostgreSQL, Greenplum
- Понимание принципов построения DWH и витрин данных
- Опыт работы с графовыми структурами данных
- Опыт использования pytest или аналогичных инструментов тестирования
Условия
- Полная занятость
- График: 5/2
- Формат работы: гибрид (Москва)