Бразилия[Job-31997] Senior Engenheiro(a) de Dados- Governança e Linhagem de Dados, Brasil
1 нед. назад
БразилияSeniorRemote
data governancedata lineagepipelinesmetadataaillms
Responsible for data governance and lineage initiatives, mapping and managing complex data environments to prepare for AI adoption at scale.
Обязанности
- - Descoberta e Mapeamento de Dados: Airflow, scripts Python, metadados, functions, packages e views SQL (bancos relacionais) para construir um inventário completo dos ativos de dados, suas dependências e consumidores. - Linhagem de Dados: construir e publicar a linhagem em nível de objeto, e posteriormente de coluna. A linhagem deve cobrir fluxos de dados e componentes de TI em PostgreSQL e Snowflake. Integração com Catálogo de Dados: integrar os resultados do mapeamento ao OpenMetadata via API, incluindo metadados técnicos, linhagem e ownership. - Governance as Code: implementar automações em pipelines de CI/CD que mantenham catálogo e linhagem atualizados a cada PR e deploy, em um ambiente com alto ritmo de mudanças. - Qualidade de Dados: definir e implementar regras técnicas de data quality e monitoramento para tabelas críticas. - Colaboração: trabalhar em conjunto com os times de dados, DevOps e plataforma do cliente e com os donos de dados de negócio - Documentação: produzir documentação técnica clara de cada objeto de dados, com inputs, outputs, dependências e propósito. - Powered by AI: utilizar agentes de IA e LLMs (Claude, OpenAI) para acelerar a análise de código, a geração de metadados e a documentação, sempre com validação humana.
Требования
- - Sólida experiência com Python e SQL avançado - Experiência consistente com Apache Airflow (desenvolvimento e troubleshooting de DAGs) - Experiência com PostgreSQL e Snowflake - Experiência com AWS (RDS, EC2 e serviços relacionados) - Experiência com Git e pipelines de CI/CD - Experiência com LLMs ou agentes de IA aplicados a análise de código e automação (Claude, OpenAI, Bedrock, LiteLLM, MCP) - Capacidade de ler, compreender e fazer engenharia reversa de pipelines e códigos existentes - Entendimento de modelagem de dados, gestão de metadados e conceitos de linhagem de dados
Другое
- Na CI&T , ajudamos grandes empresas a transformar o potencial da AI em impacto real nos negócios com AI Deployment, execução AI-native e tech-integrated business solutions.
- Com 30 anos de experiência em transformação tecnológica, aceleramos inovação com expertise em agentic SDLC, application modernization, Data & AI, martech e business strategy.
- Somos 8.000 CI&Ters em mais de 25 países, colaborando para construir soluções com impacto real. AI já faz parte da forma como trabalhamos, evoluímos e inovamos todos os dias.
- Importante : se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente.
- Estamos buscamos uma pessoa Engenheira de Dados t para atuar em iniciativas de governança de dados dos nossos clientes. Esta posição é peça-chave para mapear, documentar e governar ambientes de dados complexos e em constante evolução, preparando-os para a adoção de IA em escala.
- A pessoa atuará diretamente sobre pipelines, bancos de dados e códigos existentes. O trabalho inclui descobrir como os dados fluem entre sistemas, construir a linhagem de dados e de componentes de TI e incorporar a governança ao ciclo de desenvolvimento. Aqui, IA não é um complemento: agentes e LLMs fazem parte do dia a dia do trabalho, acelerando a análise de código, a geração de metadados e a documentação, sempre com olhar crítico e validação humana. A posição combina forte conhecimento técnico, domínio prático de ferramentas de IA e a capacidade de interpretar grandes bases de código com pouca documentação, além de trabalhar próximo aos times técnicos e às áreas de negócio.
- - Experiência com OpenMetadata, DataHub, Collibra ou ferramentas de catálogo similares - Experiência com Astronomer (Airflow gerenciado) ou migrações de Airflow - Experiência no mercado financeiro ou em gestão de ativos (posições, risco, P&L, trades) - Familiaridade com Arcesium, Bloomberg ou sistemas de gestão de portfólio - Experiência com Trino e recursos de governança do Snowflake (Horizon, Data Sharing) - Certificações em cloud ou engenharia de dados (AWS, Snowflake) - Inglês intermediário/avançado (B2 ou superior)