Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Bancos Digitais)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Bancos Digitais). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 05/11/2026.
Um banco digital está colocando assistentes de linguagem em atendimento, análise de disputas de cartão, apoio ao crédito e produtos internos de operações. Antes de cada versão nova de modelo, prompt ou base de conhecimento, alguém precisa saber se a mudança melhora ou piora o resultado. Sem isso, a decisão vira opinião, e regressão silenciosa chega ao cliente.
Seu trabalho é construir a plataforma de avaliação: conjuntos de casos de referência com resposta esperada, métricas por tarefa, verificação automática de fidelidade à fonte, juízes baseados em modelo calibrados contra revisão humana, testes adversariais para engano e vazamento e execução em integração contínua com relatório de diferenças.
O banco lida com dinheiro e com dado financeiro, portanto erro tem custo claro. Um assistente que informa taxa, limite ou prazo errado cria reclamação e obrigação. Medimos o sucesso pela quantidade de regressões barradas antes da produção, pela correlação entre a nota automática e a revisão humana e pelo tempo para avaliar uma mudança.
O que você vai fazer
- Construir conjuntos de avaliação por tarefa, com casos reais anonimizados e casos de borda
- Definir métricas de correção, fidelidade à fonte, recusa adequada e tom, com limiares de aprovação
- Implementar juízes baseados em modelo e calibrá-los contra revisão humana amostrada
- Criar testes adversariais para injeção de instrução, vazamento de dado e informação inventada
- Integrar a avaliação ao pipeline, com relatório de diferença entre versão atual e candidata
- Acompanhar qualidade em produção com amostragem de conversas e sinais de insatisfação
- Controlar o custo e o tempo da própria avaliação para que seja executada com frequência
- Documentar o método e ensinar outras equipes a escrever bons casos de teste
Requisitos
- Experiência avaliando sistemas com LLM, incluindo RAG e agentes
- Python de produção e familiaridade com APIs em FastAPI
- Conhecimento de limitações de juízes baseados em modelo e de como medir concordância
- Desenho de amostras e de métricas com rigor estatístico básico
- Cuidado com dados financeiros e pessoais, inclusive em conjuntos de teste
- Capacidade de dizer não a uma mudança com evidência na mão
Diferenciais
- Experiência em serviços financeiros ou em atendimento regulado
- Uso de ferramentas de rastreio e observabilidade para LLM
- Geração sintética de casos de teste com verificação humana
- Conhecimento de segurança para aplicações com modelos de linguagem
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. O conjunto de avaliação é versionado e revisado como código, e cada mudança de caso tem justificativa. As equipes de produto consultam o relatório antes de decidir a entrada de uma versão. Reunimos o time de avaliação toda semana para olhar as falhas mais custosas. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.