РоссияКомпания не указана
Разработчик КХД (DWH Developer)
1 нед. назад
от 250k RUBРоссияMiddleRemote
hadoophivesqoopimpalapysparkoracle data integratorairflowdbt
Ищем разработчика для долгосрочного проекта по разработке интеграционных решений корпоративного хранилища данных с опытом от 3 лет.
Обязанности
- Внедрение новых продуктов и технологий, связанных с интеграционными решениями
- Разработка интеграционных решений корпоративного хранилища данных (КХД) и механизмов интеграции данных внешних систем в единое информационное пространство
- Участие в комплексном тестировании интеграционных решений
- Разработка витрин данных в хранилищах Oracle Exadata, Greenplum, Hadoop
- Разработка и развитие слоя данных для BI-систем
Требования
- Высшее образование в области ИТ
- Знание принципов проектирования и разработки хранилищ данных (DWH) и ETL-процессов
- Опыт работы с большими объёмами данных
- Понимание архитектуры Hadoop, опыт использования Hive, Sqoop, Impala, PySpark
- Опыт от 3 лет в проектировании и разработке интеграционных решений для промышленных СУБД (Oracle Exadata, Greenplum) с использованием Oracle Data Integrator (ODI) или Airflow + dbt
- Опыт проектирования распределённых высоконагруженных систем
- Понимание подходов к тестированию ETL
- Понимание принципов проектирования витрин данных BI
- Опыт планирования и оценки сроков работ
- Знание архитектуры ClickHouse, его движков и индексов
- Опыт разработки и оптимизации решений в ClickHouse
- Опыт проектирования и разработки решений на базе ClickHouse в связке с промышленными СУБД (Oracle Exadata, Greenplum), а также Hadoop
- Знание SQL и опыт разработки на pg/SQL, PL/SQL
- Наличие сертификатов по разработке в Greenplum и ClickHouse