Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 06/11/2026.
Uma loja virtual troca de modelo de linguagem, muda o prompt do assistente de compras e atualiza o catálogo toda semana. Sem avaliação, ninguém sabe se a mudança melhorou ou piorou as respostas: o assistente recomenda produto sem estoque, erra voltagem, confunde tamanho de calçado ou responde política de troca com prazo errado.
O trabalho é construir a máquina de avaliação do produto. Isso inclui um conjunto de casos extraído de conversas reais, com resposta esperada e fonte; avaliadores automáticos, incluindo modelo como juiz com calibração contra pessoas; testes de regressão em cada mudança; e um modo de ver, para cada conversa, o que foi recuperado e por que o modelo respondeu o que respondeu.
Você é responsável por transformar opinião em número. O sucesso aparece quando a equipe decide trocar um modelo ou um prompt com base em evidência, quando regressões são pegas antes do lançamento e quando a nota automática concorda com a revisão humana.
O que você vai fazer
- Construir e manter o conjunto de avaliação a partir de conversas reais anonimizadas
- Definir métricas por tipo de erro: fato de produto, política, tom, recusa indevida e alucinação
- Implementar avaliadores com regras e com modelo como juiz, medindo sua concordância com revisão humana
- Rodar avaliação automática em cada mudança de prompt, de modelo e de catálogo
- Comparar custo, latência e qualidade entre modelos de mercado e abertos
- Instrumentar rastreios para inspecionar cada conversa passo a passo
- Criar painéis de qualidade e alertas para queda após lançamentos
- Orientar a equipe sobre amostragem, viés de avaliação e leitura de resultado
Requisitos
- Avaliação de sistemas com modelos de linguagem, incluindo modelo como juiz
- Python e testes automatizados
- RAG e agentes, com entendimento de onde cada um falha
- Estatística para dizer se uma diferença entre duas versões é real ou ruído
- Cuidado com dados pessoais de clientes
- Escrita clara de critérios que outras pessoas consigam aplicar
Diferenciais
- Ferramentas de observabilidade para aplicações de IA
- Conhecimento de catálogo, estoque e política de troca no varejo online
- Geração de dados sintéticos para casos raros
- Experiência com revisão humana em fila
- Docker e CI para rodar avaliação em pipeline
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Toda mudança de modelo ou de prompt só é publicada com o relatório de avaliação anexado, e os critérios de nota ficam escritos e revisados em par. O ritmo é de ciclos curtos, com a leitura de conversas reais como hábito semanal. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.