Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem em Meios de Pagamento). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 04/11/2026.
A empresa de meios de pagamento usa um assistente baseado em modelo de linguagem para ajudar analistas de contestação: ele lê o motivo informado pelo portador, o comprovante da venda, as regras da bandeira e o histórico do lojista e sugere a resposta de defesa de uma contestação de compra. Cada prazo perdido ou resposta mal fundamentada é dinheiro que não volta ao lojista.
Seu trabalho é a avaliação. Trocar de modelo, mexer no prompt ou atualizar as regras da bandeira pode melhorar um tipo de caso e piorar outro sem ninguém perceber. Você vai construir o conjunto de referência com casos reais anonimizados, os critérios de nota (fundamentação correta, uso da regra vigente, ausência de dado inventado, formato aceito pela bandeira), a rotina de execução automática e a calibração do modelo usado como juiz contra a revisão de analistas.
O resultado é uma régua que decide, com número, se uma mudança pode subir: taxa de defesas aprovadas em amostra revisada, afirmações sem apoio na evidência, custo por caso, latência e estabilidade das notas entre execuções.
O que você vai fazer
- Montar o conjunto de referência estratificado por tipo de contestação, bandeira e dificuldade
- Definir critérios de nota objetivos com os analistas de contestação
- Automatizar a execução da avaliação a cada mudança de prompt, de modelo ou de regra
- Calibrar o uso de modelo como juiz contra revisão humana e medir a concordância
- Medir custo, latência e variação entre execuções para cada configuração candidata
- Criar testes de regressão a partir de erros reais que chegaram a produção
- Registrar traços das chamadas para investigar casos ruins com facilidade
- Publicar um relatório comparativo que sustente a decisão de promover ou não uma mudança
Requisitos
- Python com testes e rotinas de avaliação automatizadas
- Experiência prática com LLMs de mercado e abertos, incluindo saída estruturada
- Construção de conjuntos de avaliação e escolha de métricas por tarefa
- Noção de RAG e de como a recuperação afeta a resposta final
- Observabilidade de chamadas de modelo: traços, custo e latência
- Cuidado com dado financeiro e pessoal em conjuntos de avaliação
Diferenciais
- Calibração de modelo como juiz e estimativa de concordância entre avaliadores
- Conhecimento do processo de contestação de compras e das regras das bandeiras
- Avaliação de agentes com várias chamadas de ferramenta
- Estatística para comparar versões com amostras pequenas
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Nenhuma alteração do assistente sobe sem o relatório de avaliação anexado ao pedido de revisão. Cada semana o time revisa em conjunto os dez casos com pior nota, que alimentam o conjunto de regressão. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.