Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no Varejo). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 06/11/2026.
No varejo, os assistentes de linguagem respondem sobre produto, estoque, troca e promoção, e ajudam equipes de loja a consultar procedimentos. A pergunta que decide se o assistente fica ou sai do ar é simples de enunciar e difícil de responder: ele está bom? Você vai ser responsável pelo sistema de avaliação desses modelos, o que define o que é uma boa resposta e como medi-la antes e depois de cada mudança.
Avaliar texto gerado exige método. Respostas de referência cobrem só parte dos casos, um modelo usado como juiz tem vieses (favorece respostas longas, favorece o próprio estilo), e a opinião de quem rotula varia. Você vai construir conjuntos de teste com perguntas reais, critérios por dimensão (correção, fidelidade à fonte, recusa adequada, tom), medir a concordância entre juízes humanos e automáticos e conduzir comparações entre modelos. O sucesso se mede em decisões de troca de modelo ou de prompt tomadas com evidência e em regressões pegas antes dos clientes.
O que você vai fazer
- Definir com o negócio os critérios de qualidade de resposta e seus pesos, por tipo de pergunta
- Construir conjuntos de teste a partir de conversas reais anonimizadas, com casos difíceis e adversariais
- Organizar a rotulagem humana, medir a concordância entre revisores e resolver divergências
- Implementar juízes automáticos baseados em LLM e calibrá-los contra a rotulagem humana
- Automatizar a execução no pipeline, comparando prompt, modelo e índice, com relatório por categoria de erro
- Medir custo, latência e qualidade lado a lado, para escolher entre modelos de mercado e abertos
- Acompanhar a qualidade em produção com amostras e sinais de uso, e alimentar o conjunto de teste
- Ensinar o time a ler o resultado da avaliação e a desconfiar dele quando for o caso
Requisitos
- Avaliação de sistemas com LLM: métricas, juízes automáticos, vieses e concordância entre avaliadores
- Delineamento de conjuntos de teste representativos, sem contaminação com o treino ou com exemplos de prompt
- Python com FastAPI e automação de rotinas de avaliação
- Noções estatísticas para comparar sistemas e saber quando a diferença é real
- Construção de RAG e de agentes, para entender o que se avalia
- Comunicação com negócio sobre o que as notas significam e o que não significam
Diferenciais
- Ter montado conjunto de avaliação a partir de dados reais de atendimento
- Ferramentas de observabilidade e de avaliação de LLM
- Práticas de teste adversarial e de segurança de modelos
- Conhecimento de varejo, especialmente atendimento em loja e em canais digitais
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Nenhuma mudança de modelo, de prompt ou de índice vai ao ar sem o relatório de avaliação ao lado. O time revisa casos em que o juiz automático e as pessoas discordam, porque é neles que o método aprende. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.