Бразилия[Job-32521] Senior Data Engineer(Databricks ), Brazil
4 дн. назад
БразилияSeniorRemote
databricksdata pipelinesdata modelingsql
Senior Data Engineer responsible for building and evolving a large-scale, high-criticality data platform, developing robust data pipelines and modeling performance indicators.
Обязанности
- - Desenvolver scripts e pipelines para carregamento de dados na camada Gold, garantindo qualidade, consistência e rastreabilidade das informações consolidadas; - Estruturar tabelas com indicadores de desempenho, uso e disponibilidade da plataforma, criando modelos analíticos otimizados para consumo por times de negócio e gestão; - Assegurar padrões de qualidade, versionamento e documentação dos pipelines e modelos de dados produzidos; - Atuar de forma próxima com times de produto, operações e gestão, traduzindo necessidades de negócio em soluções de engenharia de dados eficientes. Requisitos para este desafio:
- - Experiência sólida com engenharia de dados e construção de pipelines no ecossistema Azure; - Domínio de SQL avançado para manipulação, transformação e análise de dados; - Experiência com Python e/ou PySpark para desenvolvimento de scripts de ingestão e transformação; - Vivência com Azure Databricks (Spark, PySpark e Spark SQL); - Experiência com Azure Data Factory (ADF) para orquestração e automação de pipelines; - Experiência com KPIs e indicadores do ramo financeiro (setor bancário); - Vivência com arquitetura em camadas (Bronze, Silver, Gold / Medallion) e Delta Lake; - Conhecimento em modelagem de dados para analytics (Star Schema, OBT, tabelas fato/dimensão); - Familiaridade com ambientes de Data Lakehouse e operações de MERGE/UPSERT; - Experiência com qualidade e governança de dados.
Другое
- Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
- Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
- Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
- Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
- Estamos em busca de um(a) Engenheiro(a) de Dados Sênior para atuar em um projeto estratégico de alto impacto, voltado à construção e evolução de uma plataforma de dados de grande escala e alta criticidade.
- Nessa posição, você será responsável por estruturar e manter a camada analítica de dados, desenvolvendo pipelines robustos, modelando indicadores de desempenho e garantindo que as informações estejam sempre atualizadas, confiáveis e prontas para suportar decisões estratégicas do negócio.
- - Conhecimento em Delta Lake avançado (time travel, schema evolution, otimização de performance); - Experiência com Azure Purview ou outras ferramentas de catálogo e governança de dados; - Vivência com CI/CD para dados (ex: Azure DevOps); - Experiência com streaming de dados (Spark Structured Streaming ou Azure Event Hubs); - Vivência com projetos de grande escala e alta criticidade; - Experiência com ferramentas de BI (ex: Power BI, Metabase) para validação de indicadores; - Experiência com times de growth marketing, apoiando análises de aquisição, ativação e retenção; - Certificações Azure relevantes (ex: DP-203, Databricks Certified Data Engineer); - Vivência em metodologias ágeis.