[Job-29222] Tester/QA e Curadoria de IA Senior, Brazil at CI&T

Somos especialistas em transformação tecnológica, unindo expertise humana à IA para criar soluções tech escaláveis. Com mais de 8,000 CI&Ters ao redor do mundo, já formamos parcerias com mais de 1,000 clientes durante nossos 30 anos de história. Inteligência Artificial é nossa realidade. Importante: se você reside na Região Metropolitana de Campinas, sua presença nos escritórios da cidade será obrigatória, conforme a política de frequencia vigente. Estamos buscando uma pessoa engenheira de Qualidade & Curadoria de IA para garantir que as soluções de Inteligência Artificial Generativa desenvolvidas pela organização sejam confiáveis, seguras, precisas e alinhadas aos valores do negócio. Você atuará como responsável pela qualidade e da confiança nas soluções de GenAI — avaliando respostas de modelos, identificando alucinações, monitorando comportamentos em produção, curando bases de conhecimento e garantindo que os princípios de IA Responsável sejam respeitados em cada entrega. Este é um perfil que equilibra visão técnica, senso crítico apurado e proximidade com o negócio — capaz de transitar entre logs de modelo, feedbacks de usuários e conversas com stakeholders sobre risco e conformidade. Você precisa ter prática com: Experiência com testes, avaliação ou garantia de qualidade em sistemas de software ou dados; Familiaridade com conceitos de IA Generativa, LLMs e RAG — não precisa ter desenvolvido, mas precisa entender profundamente como funcionam; Capacidade analítica para interpretar logs, métricas e padrões de comportamento de sistemas de IA; Conhecimento de Python para automação de avaliações e análise de dados de qualidade; Habilidade de comunicação clara para reportar problemas e recomendar melhorias a perfis técnicos e não-técnicos; Organização e disciplina para documentar processos, incidentes e decisões de forma consistente; Conhecimento de princípios de IA Responsável, ética em IA e LGPD/GDPR. Você irá se destacar se: Experiência com ferramentas de avaliação de LLMs como Azure AI Evaluation, Promptflow Evaluators, RAGAS ou TruLens; Conhecimento de Azure AI Foundry e seus recursos de monitoramento e avaliação; Familiaridade com Azure AI Search e estratégias de indexação para RAG; Experiência com Microsoft Copilot Studio do ponto de vista de testes e validação; Noções de Prompt Engineering para diagnóstico e ajuste fino de comportamentos dos modelos; Experiência com Power BI ou ferramentas similares para criação de dashboards de monitoramento; Conhecimento do framework RAI da Microsoft e das diretrizes de uso responsável do Azure OpenAI; Experiência prévia em setores regulados (financeiro, saúde, jurídico). Responsabilidades Avaliação & Testes de Qualidade de IA Definir e executar frameworks de avaliação de modelos generativos, cobrindo dimensões como relevância, fidelidade, completude, coerência e ausência de alucinações; Construir e manter suítes de testes automatizados e manuais para validação de respostas dos Copilots e assistentes em diferentes cenários e edge cases; Realizar avaliações comparativas (A/B testing) entre versões de prompts, modelos e configurações de RAG para orientar decisões de melhoria; Validar a qualidade das respostas geradas contra as fontes de verdade (documentos, dados estruturados, políticas internas) antes e após atualizações; Identificar padrões de falha, respostas inadequadas e comportamentos inesperados, documentando e reportando ao time de desenvolvimento. Curadoria de Bases de Conhecimento Ser responsável pela curadoria contínua das Knowledge Bases que alimentam as soluções de RAG, garantindo que os documentos indexados sejam relevantes, atualizados e bem estruturados; Definir e aplicar critérios de inclusão, exclusão, atualização e versionamento de documentos nas bases de conhecimento; Identificar gaps de conhecimento — situações em que o modelo não encontra informação suficiente para responder com precisão — e acionar os times responsáveis para preenchê-los; Monitorar a qualidade dos chunks e índices de busca vetorial no Azure AI Search, propondo ajustes de estratégia de indexação quando necessário; Trabalhar com áreas de negócio para garantir que o conteúdo das bases reflita as políticas, processos e informações oficiais da organização. Melhoria Contínua & Feedback Loop Estruturar e operar o ciclo de feedback das soluções de IA — coletando avaliações de usuários, analisando conversas e traduzindo insights em melhorias concretas para o time de desenvolvimento; Priorizar e comunicar ao time de GenAI os ajustes de prompt, configuração de RAG e curadoria de conteúdo identificados nas avaliações; Colaborar com o(a) Engenheiro(a) de GenAI para validar se as correções implementadas realmente resolveram os problemas identificados; Propor e implementar melhorias nos processos de avaliação e curadoria, tornando-os mais ágeis e escaláveis à medida que o portfólio de use cases cresce. Interface com Negócio & Usuários Atuar como ponte entre os usuários finais das soluções de IA e o time técnico, garantindo que a voz do usuário seja considerada nas evoluções; Conduzir sessões de validação e homologação de novas versões das soluções com as áreas de negócio antes dos lançamentos; Apoiar a criação de guias de uso, tutoriais e boas práticas para os usuários das soluções de Copilot; Participar do processo de descoberta e refinamento de novos use cases, trazendo a perspectiva de qualidade e viabilidade desde o início. #LI-BA1   Nossos benefícios: - Plano de saúde e odontológico; - Vale alimentação e refeição; - Auxílio-creche; - Licença parental estendida; - Parceria com academias e profissionais de saúde e bem-estar via Wellhub (Gympass)  TotalPass; - Participação nos Lucros e Resultados (PLR); - Seguro de Vida; - Plataforma de aprendizagem contínua (CI&T University); - Clube de descontos; - Plataforma online gratuita dedicada à promoção da saúde física, mental e bem-estar; - Curso gestante e parentalidade responsável; - Parceria com plataformas de cursos online; - Plataforma para aprendizagem de idiomas; - E muitos outros Mais detalhes sobre os nossos benefícios aqui: [Upgrade to PRO to see link] Na CI&T, a inclusão começa no primeiro contato. Se você é pessoa com deficiência, é importante apresentar o seu laudo durante o processo seletivo. Consulte quais dados são necessários conter no laudo clicando aqui. Assim, podemos garantir o suporte e as adaptações que você merece. Se ainda não tem o laudo caracterizador, não se preocupe: podemos te apoiar para obtê-lo. Temos um time dedicado de Saúde e Bem-estar, especialistas em inclusão e grupos de afinidade que estarão com você em todas as etapas. Conte com a gente para fazer essa jornada lado a lado.