[Job-31034] Engenheiro de Dados (Azure/Databrics) Sênior , Brazil
2 нед. назад
BrazilLATAMSeniorRemote
azuredatabricksetlci/cdgithub
Responsible for developing and maintaining data pipelines in Azure environment using Databricks, ensuring data model integrity and governance.
Обязанности
- -Desenvolver e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.-
- -Visão 360º (ex: Entender o projeto como um todo, entendendo os impactos que uma solução pontual posso acarretar o projeto).
- -Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.
- -Modelar e evoluir tabelas no Unity Catalog, aplicando boas práticas de nomenclatura e versionamento de schema.
- -Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.-
- -Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
- -Colaborar com times de negócio e ciência de dados para deploy de modelos de IA em ambiente cloud.
- -Garantir qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.
- -Documentar processos, arquiteturas e boas práticas de engenharia de dados.
-
Требования
- -Experiência sólida em Azure Data Services e Databricks.
- -Experiência com Databricks com PySpark
- -Experiência com Arquitetura medalhão.
- -Domínio de Python e SQL para manipulação e transformação de dados.
- -Conhecimento em CI/CD e versionamento com GitHub.
- -Conhecimento em modelagem de dados analíticos (camadas de ingestão, preparação e consumo).
- -Vivência em projetos de migração para cloud.
- -Experiência em ETL/ELT e integração de grandes volumes de dados.
- -Experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.
- -Experiência com projetos de IA e automação de pipelines.
-
Другое
- Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
- Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
- Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
- Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
- Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados , você será responsável por garantir a integridade, consistência e eficiência dos modelos de dados em todo o ecossistema, realizando revisões estruturais, definindo padrões e assegurando governança.
-
- -Conhecimento em arquiteturas orientadas a dados e boas práticas de governança.
- -Vivência em projeto de contexto financeiro.
- -Participação em iniciativas de MDM (Master Data Management).
- -Familiaridade com Databricks MLflow para gestão de modelos.
- -Atuação em ambientes Data Lake e Data Warehouse.
-
- #LI-PA1