БразилияArquiteto de Dados - Remoto
6 дн. назад
БразилияRemote
informatica idmcetleltsqlpythonci/cdperformance tuning
Architecting and evolving data integration solutions, designing scalable ETL/ELT pipelines, and defining development and architecture standards for enterprise and cloud environments.
О компании
- A é uma consultoria global de tecnologia e negócios, focada no setor de serviços financeiros e energia, somos apaixonados por ajudar nossos clientes, temos 40 escritórios nas Américas, Europa e Ásia-Pacífico! Se criatividade e inovação são sua paixão, a é ideal para você. Vamos te apoiar e ajudar a acelerar sua carreira!
Обязанности
- Arquitetar, desenvolver e evoluir soluções de integração utilizando Informatica IDMC/CDI;
- Desenhar pipelines escaláveis de ETL/ELT para ambientes corporativos e cloud;
- Definir padrões de desenvolvimento, arquitetura, nomenclatura, parametrização e reutilização de componentes;
- Desenvolver e revisar mappings, tasks, taskflows e frameworks de integração;
- Definir estratégias de ingestão batch, incremental, CDC e near real-time quando aplicável;
- Projetar integrações envolvendo bancos de dados, APIs, arquivos, aplicações SaaS, Data Warehouses, Data Lakes e plataformas Lakehouse;
- Desenvolver e otimizar soluções utilizando SQL avançado e Python;
- Implementar e orientar estratégias de performance tuning, incluindo Pushdown Optimization;
- Definir padrões de tratamento de erros, logging, auditoria, reconciliação e observabilidade;
- Apoiar decisões relacionadas à arquitetura e modelagem de dados;
- Estruturar processos de CI/CD e estratégias de deployment para soluções IDMC;
- Realizar code reviews e garantir aderência aos padrões e boas práticas estabelecidos;
- Atuar na análise e resolução de problemas críticos em ambientes produtivos;
- Apoiar estimativas, planejamento técnico e definição da estratégia de implementação;
- Traduzir requisitos funcionais e de negócio em soluções técnicas escaláveis;
- Conduzir discussões técnicas com clientes, arquitetos e demais stakeholders;
- Atuar como referência técnica e mentor para profissionais juniores e plenos;
- Avaliar novas funcionalidades do IDMC e propor melhorias para a arquitetura e os processos existentes.
Требования
- Sólida experiência com Informatica IDMC/IICS, especialmente Cloud Data Integration (CDI);
- Experiência avançada em arquitetura e desenvolvimento de soluções ETL/ELT;
- SQL avançado, incluindo otimização de consultas e processamento de grandes volumes de dados;
- Experiência sólida com Python para automação, integração e processamento de dados;
- Experiência com Data Warehouse, Data Lake e arquiteturas Lakehouse;
- Experiência com plataformas Cloud, preferencialmente Microsoft Azure;
- Experiência com Databricks, Snowflake ou plataformas modernas de dados;
- Experiência com integrações via REST/SOAP APIs;
- Conhecimento de padrões de integração batch, near real-time e event-driven;
- Experiência com Git, CI/CD e automação de deployments;
- Experiência com performance tuning e troubleshooting de pipelines complexos;
- Conhecimento de segurança, governança e qualidade de dados;
- Experiência na definição de padrões e boas práticas de desenvolvimento;
- Capacidade de liderança técnica e mentoria;
- Excelente capacidade de comunicação e relacionamento com clientes e stakeholders;
- Capacidade de atuar com autonomia em ambientes de alta complexidade.
Другое
- Experiência com outros módulos do IDMC, como Cloud Data Quality (CDQ), Cloud Application Integration (CAI), Cloud Mass Ingestion (CMI) e Cloud Data Governance and Catalog (CDGC);
- Experiência em migração de Informatica PowerCenter para IDMC;
- Experiência avançada com Azure, incluindo Databricks, Data Lake Storage, Synapse e serviços relacionados;
- Experiência com Snowflake;
- Conhecimento de dbt, Spark/PySpark e Delta Lake;
- Conhecimento de Kafka ou outras tecnologias de streaming;
- Experiência com Terraform ou Infrastructure as Code;
- Experiência em ambientes regulados e projetos de grande escala;
- Certificação Informatica IDMC/CDI;
- Certificações Azure, Databricks ou Snowflake;
- Inglês avançado ou fluente.
- Preferencialmente 6+ anos de experiência em Data Integration, ETL/ELT ou Engenharia de Dados, com experiência sólida e comprovada em Informatica IDMC/CDI e atuação em soluções de média e alta complexidade.
- Na promovemos uma cultura inclusiva. Valorizamos a diversidade em todas as suas expressões. Pensamos, em conjunto, sempre em ações diversas de inclusão e de responsabilidade social através de comitês internos geridos pela nossa comunidade interna, como os grupo de Mulheres, Pessoas Com Deficiência, Pessoas Negras, LGBTQIAPN+, Parentalidade, Gerações, entre outros. Nossas oportunidades são trabalhadas para todos(as)!!! #LifeAtCapco
- Se você está ansioso(a) para progredir sua carreira conosco, candidate-se e aguarde o contato de um de nossos recrutadores!