AGIMA

Data engineer

1 мес. назад

Russia

greenplumredshiftverticasqlpostgresqlpythonpandaspsycopg2

Вакансия Data engineer в компании AGIMA, расположенной в Москве.

Уверенное знание MPP-баз данных — Greenplum (или аналогов: Redshift, Vertica).
Умение писать сложные SQL-запросы, понимание партиционирования, distribution keys, работы с большими объёмами данных.
Знание PostgreSQL: индексы, транзакции, оконные функции, работа pg-драйверами.
Уверенное владение Python для задач обработки данных: pandas, psycopg2 / SQLAlchemy для работы с БД, boto3 для Object Storage, requests для работы с REST API.
Умение писать читаемый, поддерживаемый код.
Опыт работы с Apache AirFlow: написание DAG-ов на Python, управление зависимостями, настройка расписаний, мониторинг и отладка.
Понимание принципов ETL.
Опыт работы с Informatica (или аналогами: Talend, dbt, SSIS) будет плюсом.
Умение реализовывать загрузку CSV и структурированных данных в БД.
Опыт работы с S3-совместимыми хранилищами (Yandex Object Storage, AWS S3 и пр.) — загрузка, хранение промежуточных и выходных данных.