[Job - 29221] Senior Data Developer (Azure), Brazil at CI&T

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos buscando uma pessoa para atuar com Engenharia de Dados, sendo responsável por implementar, construir e evoluir os componentes da nossa plataforma de dados no dia a dia. Você será a pessoa profissional que dará vida às definições arquiteturais, transformando padrões e diretrizes técnicas em pipelines robustos, modelos de dados consistentes e soluções escaláveis, contribuindo diretamente para que os dados da organização sejam confiáveis, acessíveis e prontos para gerar valor ao negócio. Responsabilidades: Desenvolvimento de Pipelines & Integração: Implementar pipelines de ELT/ETL para ingestão, transformação e disponibilização de dados, seguindo os padrões definidos pela arquitetura; Construir e manter integrações com diversas fontes de dados (bancos relacionais e dados desestruturados como e-mails e planilhas); Desenvolver fluxos de dados utilizando Azure Data Factory, Microsoft Fabric Pipelines e Databricks/Snowflake, conforme stack definido pelo time; Implementar estratégias de ingestão incremental ou  full load de acordo com os requisitos de cada domínio; Garantir a observabilidade dos pipelines, implementando logs, alertas e monitoramento proativo. Implementação da Plataforma de Dados: Construir e organizar camadas do Data Lake/Lakehouse (Bronze, Silver e Gold) seguindo a arquitetura Medallion definida pelo arquiteto; Implementar e manter estruturas de armazenamento no Azure Data Lake Storage Gen2 (ADLS Gen2) e formatos otimizados como Delta Lake, Parquet e Iceberg; Participar da configuração e uso do Microsoft Fabric (Lakehouses, Warehouses, Dataflows, Notebooks e Pipelines); Apoiar a implementação de políticas de acesso, segmentação e organização de dados conforme diretrizes de governança. Modelagem & Transformação de Dados: Implementar modelos de dados definidos pela arquitetura (dimensional, relacional, Data Vault, etc.) nas camadas analíticas da plataforma; Desenvolver e manter transformações de dados utilizando SQL avançado, Python e ferramentas como dbt; Garantir a consistência, integridade e qualidade dos dados ao longo de todas as camadas de processamento; Documentar modelos, transformações e regras de negócio aplicadas nos pipelines. Qualidade & Governança de Dados: Implementar verificações e testes automatizados de qualidade de dados (ex: Great Expectations, dbt tests) nos pipelines; Apoiar a catalogação e documentação de ativos de dados no Azure Purview, incluindo linhagem, classificação e descrição de datasets; Seguir e promover as práticas de governança e privacidade de dados definidas pelo time de arquitetura, garantindo conformidade com LGPD/GDPR; Colaborar na identificação e correção de problemas de qualidade de dados reportados por times consumidores. Suporte a Machine Learning & IA Apoiar times de Ciência de Dados na preparação e disponibilização de datasets para treinamento e validação de modelos; Implementar pipelines de Feature Engineering e disponibilização de features em feature stores; Colaborar com o time de IA na estruturação de fluxos de dados integrados ao Azure AI Foundry. Requisitos para o desafio: Experiência comprovada com Engenharia de Dados em ambientes de nuvem; Sólido conhecimento em SQL para consultas, transformações e modelagem analítica; Experiência com Python para desenvolvimento de pipelines e transformações de dados; Vivência prática com pipelines de ELT/ETL em ambientes produtivos; Conhecimento de Microsoft Azure (Data Factory, ADLS Gen2, Synapse Analytics ou Fabric); Familiaridade com conceitos de Data Lake, Lakehouse e arquitetura Medallion; Experiência com formatos de dados como Delta Lake, Parquet ou ORC; Capacidade de leitura e interpretação de definições arquiteturais e documentações técnicas; Boas práticas de desenvolvimento: versionamento com Git, testes, documentação e CI/CD. Diferenciais: Experiência com Microsoft Fabric (Lakehouses, Notebooks, Pipelines ou Dataflows); Experiência prática com Databricks (Spark, Delta Live Tables, Workflows); Conhecimento de dbt para transformações e testes de qualidade de dados; Familiaridade com Azure Purview para catalogação e linhagem de dados; Conhecimento em Snowflake como plataforma de dados; Experiência com orquestração de pipelines via Apache Airflow ou Prefect; Noções de Gen AI e Agentes autônomos;   #LI-DR3 MidSenior Nossos benefícios: - Plano de saúde e odontológico; - Vale alimentação e refeição; - Auxílio-creche; - Licença parental estendida; - Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass)  TotalPass; - Participação nos Lucros e Resultados (PLR); - Seguro de Vida; - Plataforma de aprendizagem contínua (CI&T University); - Clube de descontos; - Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar; - Curso gestante e parentalidade responsável; - Parceria com plataformas de cursos online; - Plataforma para aprendizagem de idiomas; - E muitos outros Mais detalhes sobre os nossos benefícios aqui: [Upgrade to PRO to see link] Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.