[Job-31133] Senior/Mid Level, Data Engineer, Brazil
1 нед. назад
BrazilLATAMSeniorRemote
awsgluelambdasnssqskafkaecsdata modeling
Develop and evolve scalable data ingestion applications using AWS technologies, collaborating with multidisciplinary teams.
Другое
- Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
- Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
- Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
- Estamos em busca de uma pessoa para atuar como Engenheiro(a) de Dados, integrando nosso time e contribuindo na construção de soluções escaláveis e inteligentes para grandes volumes de dados.
- Se você é apaixonado por dados, tem experiência sólida com AWS e modelagem de dados, gosta de resolver problemas complexos e colaborar com equipes multidisciplinares, essa vaga é para você!
- Responsabilidades: Atuar no desenvolvimento e evolução de aplicações para ingestão de dados utilizando ferramentas AWS, tanto em arquitetura serveless (glue, lambda, sns, sqs, kafka, etc) quanto com arquiteturas que usam ECS; Realizar o entendimento das necessidades técnicas, participando de inceptions e refinamentos; Codificar e estruturar testes automatizados para garantia de qualidade dos entregáveis; Realizar code review e Deploy em produção; Gestão de Incidentes; Otimizar jobs e pipelines de dados, atuando em particionamento de dados, balanceamento de dados (skew) e tuning de performance; Projetar e manter orquestrações de pipelines utilizando AWS Step Functions e AWS EventBridge; Configurar e acompanhar monitoria/observabilidade utilizando AWS CloudWatch e, de forma desejável, ferram
- Requisitos para este desafio: Sólidos conhecimentos em Python e Experiência prática com PySpark; Cloud com AWS (S3, glue, EC2, lambda, athena); Automação de testes unitários; Banco de dados Relacional; Desenvolvimento de testes automatizados usando a estratégia de pirâmide de testes; Refinamento técnico de histórias e de solução; Qualidade de código e boas práticas de programação; Comunicação para garantir o alinhamento com time e stakeholers; Capacidade de execução e proatividade. Otimização de custos em nuvem e boas práticas de FinOps aplicadas a pipelines de dados.
- Diferenciais: Uso de IA generativa, agents e skills para agilizar o trabalho Localstack com recursos AWS (infraestrutura as a code); Arquitetura Serveless; Datadog; Mensageria (Kafka, SQS, SNS);