Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Mobilidade Urbana)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Mobilidade Urbana). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 06/11/2026.
Um assistente que responde dúvidas de passageiros sobre linhas, atrasos, bilhete e acessibilidade, ou ajuda a central de operação a resumir ocorrências, só é bom se for medido. Trocar de modelo, mexer no prompt ou atualizar a base de itinerários pode melhorar uma resposta e quebrar outra, e sem avaliação cada mudança é um palpite. Você vai construir a plataforma de avaliação dos modelos de linguagem que sustentam esses produtos de mobilidade urbana.
O conjunto de avaliação nasce de conversas reais anonimizadas e de casos difíceis escritos pela operação: linha desviada por obra, greve, integração entre ônibus e metrô, pergunta com horário ambíguo. Cada caso tem critérios verificáveis, como horário correto, linha citada que existe e recusa quando a informação não está na base.
A avaliação combina checagens determinísticas, modelo como juiz calibrado com revisão humana e análise por categoria de erro. Roda a cada mudança no pipeline, com gate de publicação, e também em produção, por amostragem. Você acompanha fidelidade, cobertura, custo e latência e responde por dizer, com dados, se uma versão pode ir ao ar.
O que você vai fazer
- Construir o conjunto de avaliação com conversas anonimizadas e casos de borda da operação
- Definir critérios verificáveis, como linha existente, horário correto e recusa adequada
- Implementar checagens determinísticas e modelo como juiz, calibrado com amostras humanas
- Automatizar a avaliação no pipeline com gate de publicação
- Medir fidelidade, cobertura, custo e latência por versão e por categoria
- Amostrar respostas em produção e acompanhar a regressão ao longo do tempo
- Analisar falhas para decidir entre mudar prompt, recuperação ou modelo
- Definir o padrão de avaliação e treinar engenheiros para usá-lo
Requisitos
- Avaliação de LLM com métricas, conjunto de referência e análise de erro
- Modelo como juiz, com ciência de seus vieses e como calibrá-lo
- Python e FastAPI para ferramentas internas e pipelines
- RAG e agentes, para saber onde cada tipo de falha nasce
- Rastreio e observabilidade de chamadas ao modelo
- Tomada de decisão sobre publicação com base em evidência
Diferenciais
- Dados de transporte público, como itinerários e horários de linhas
- Estatística para decidir entre duas versões quando a amostra é pequena
- Anotação com especialistas e medida de concordância
- LLMs de mercado e abertos em comparação
- Experiência com sistemas críticos em tempo real
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. O time publica só o que passou na avaliação, e quem propõe a mudança mostra o resultado antes de pedir revisão. Os conjuntos de caso são versionados, e a operação participa da escolha dos critérios. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.