Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Logística). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 04/11/2026.
Uma operadora logística usa modelos de linguagem para ler e-mails de clientes sobre atraso de entrega, extrair dados de conhecimentos de transporte e responder dúvidas do atendimento sobre prazo e ocorrência. Toda vez que alguém muda um prompt ou troca o modelo, a pergunta é a mesma: ficou melhor ou pior? Hoje a resposta vem da impressão de quem testou três exemplos. Você vai construir o sistema que responde com número.
Isso inclui montar conjuntos de avaliação a partir de casos reais (e-mail com número de nota fiscal escrito de três jeitos, ocorrência com abreviação do motorista, pedido que mistura duas entregas), definir métricas por tarefa, como acerto de campo, fidelidade ao dado consultado e taxa de recusa correta, e usar modelos como avaliadores com calibração contra revisão humana.
A avaliação roda a cada mudança no pipeline de entrega e bloqueia a liberação quando a qualidade cai além de um limite combinado. Depois do lançamento, amostras da produção são reavaliadas para pegar a deriva. Você mede custo, latência e a concordância entre avaliação automática e humana.
O que você vai fazer
- Montar conjuntos de avaliação a partir de e-mails, conhecimentos e ocorrências reais anonimizados
- Definir métricas por tarefa: extração, resposta com consulta, recusa e tom
- Construir avaliadores automáticos e calibrá-los contra a revisão humana
- Integrar a avaliação ao pipeline para bloquear a liberação com queda de qualidade
- Amostrar a produção e reavaliar para detectar deriva
- Analisar falhas por categoria e abrir melhorias para os times donos de cada fluxo
- Rastrear custo e latência por versão de prompt e de modelo
Requisitos
- Python e testes automatizados de aplicação com modelos de linguagem
- Desenho de conjuntos de avaliação e de métricas por tarefa
- Uso de modelos como avaliadores, com noção de seus vieses
- Estatística básica para comparar versões com amostras pequenas
- Observabilidade e rastreamento de chamadas de LLM
- Leitura crítica de erros e comunicação com donos de produto
Diferenciais
- Conhecimento de dados logísticos: notas fiscais, conhecimentos de transporte, ocorrências
- Revisão humana como etapa organizada de fila
- Testes de regressão de prompts em CI
- Avaliação de extração de documentos
- Experimentos A/B de versões de prompt em produção
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Qualquer mudança de prompt, modelo ou recuperação sai com o relatório de avaliação anexado ao pedido de revisão. O conjunto de teste cresce com os erros de produção, e o time reserva um dia por quinzena para revisar amostras junto com o atendimento. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.