Azure Data Engineer - Inglês at Capco

A Capco é uma consultoria global de tecnologia e negócios, focada no setor de serviços financeiros e energia, somos apaixonados por ajudar nossos clientes, temos 40 escritórios nas Américas, Europa e Ásia-Pacífico! Se criatividade e inovação são sua paixão, a Capco é ideal para você. Vamos te apoiar e ajudar a acelerar sua carreira! Estamos buscando um(a) Engenheiro(a) de Dados Azure necessário(a) para construir pipelines de dados confiáveis e escaláveis que realizem ingestão, transformação e carregamento de dados corporativos em um Banco de Dados de Grafos RDF. Este(a) profissional terá foco em integração de dados nativa do Azure (por exemplo, Azure Data Factory) e streaming/mensageria (por exemplo, Kafka) para suportar conjuntos de dados de alta qualidade, prontos para grafos, para um MVP e futura expansão corporativa. Responsabilidades: • Projetar e construir pipelines batch e de streaming no Azure para ingerir dados de arquivos, APIs, bancos de dados e fluxos de eventos. • Desenvolver e operar pipelines no Azure Data Factory (ADF), incluindo agendamento, parametrização, tratamento de erros e monitoramento. • Implementar padrões de ingestão/processamento de streaming baseados em Kafka (tópicos, consumidores/produtores, evolução de schema) para suportar feeds quase em tempo real, quando necessário. • Realizar transformações e modelagem de dados para produzir saídas compatíveis com RDF (por exemplo, entradas para mapeamento de entidades/relacionamentos), garantindo consistência, rastreabilidade (lineage) e reprodutibilidade. • Trabalhar em parceria com modeladores de ontologias/grafos para alinhar as saídas dos pipelines aos esquemas de grafos, identificadores e abordagens de resolução de vínculos. • Estabelecer verificações de qualidade de dados (completude, validade, duplicidade), logs e runbooks operacionais. • Apoiar práticas de DevOps: CI/CD para artefatos de pipelines, promoção entre ambientes e dashboards/alertas operacionais. • Contribuir para a documentação técnica: mapeamentos origem-destino, especificações de pipelines e notas de implantação. Requisitos: • Mais de 3 anos construindo pipelines de dados em produção no Azure, com forte experiência prática em ADF. • Experiência com Kafka (ou tecnologia equivalente de streaming/mensageria) em implementações reais. • Forte conhecimento em SQL e pelo menos uma linguagem de programação (preferencialmente Python). • Sólido entendimento de ETL/ELT, conceitos de modelagem de dados e suporte operacional de pipelines (monitoramento, reprocessamentos, SLAs). • Inglês avançado/fluente Desejaveis: • Familiaridade com conceitos de RDF/Knowledge Graph (triplas, IRIs, formatos de serialização como Turtle/JSON-LD, SPARQL). • Experiência com integração a bancos de dados de grafos (por exemplo, Stardog, GraphDB, Neptune) ou camadas semânticas. • Experiência com serviços Azure comumente utilizados em pipelines (por exemplo, ADLS Gen2, Key Vault, Functions, Fabric). Certificações: • Microsoft Certified: Azure Data Engineer Associate (DP-203) • Microsoft Certified: Azure Fundamentals (AZ-900) • Microsoft Certified: Azure Developer Associate (AZ-204) (útil para Functions/integração) • Microsoft Certified: DevOps Engineer Expert (AZ-400) (CI/CD + operações de plataforma) • Confluent Certified Developer for Apache Kafka (CCDAK) ou certificação equivalente em Kafka • Qualquer treinamento/certificação em Web Semântica / Knowledge Graph (treinamentos de fornecedores como Stardog ou outras plataformas de grafos são um diferencial) . POR QUE CAPCO: Na Capco promovemos uma cultura inclusiva. Valorizamos a diversidade em todas as suas expressões. Pensamos, em conjunto, sempre em ações diversas de inclusão e de responsabilidade social através de comitês internos geridos pela nossa comunidade interna, como os grupo de Mulheres, Pessoas Com Deficiência, Pessoas Negras, LGBTQIAPN+, Parentalidade, Gerações, entre outros. Nossas oportunidades são trabalhadas para todos(as)! #LifeAtCapco PRÓXIMOS PASSOS: • Se você está ansioso(a) para progredir sua carreira conosco, candidate-se e aguarde o contato de um de nossos recrutadores!