Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem na Educação)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem na Educação). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 04/11/2026.
Uma plataforma de ensino tem um assistente que responde dúvidas de alunos sobre o conteúdo do curso e sugere exercícios. Cada troca de modelo, de instrução ou de base de conteúdo pode melhorar uma disciplina e piorar outra, e hoje ninguém sabe disso até a reclamação chegar. A pergunta que você vai responder é: a nova versão está melhor ou pior, em quê e para quem?
Para responder, você constrói a infraestrutura de avaliação. Isso inclui um conjunto de perguntas de referência por disciplina, com respostas conferidas por professores, métricas de fidelidade ao material, de correção do conteúdo e de adequação à faixa etária, avaliação com modelo como juiz calibrada contra a nota humana, e uma rotina que roda a cada mudança e mostra a regressão por disciplina antes da publicação.
O domínio impõe cuidados. Muitos usuários são menores, então os dados de aula usados na avaliação são anonimizados, e o assistente não pode inventar fato nem dar resposta pronta para prova. Mede-se a taxa de respostas fiéis ao material, a concordância entre o juiz automático e os professores, o custo por avaliação completa e o tempo para uma mudança receber o veredito.
O que você vai fazer
- Construir conjuntos de perguntas de referência por disciplina junto com professores
- Definir métricas de fidelidade, correção e adequação e escrever a rubrica de cada uma
- Calibrar um modelo juiz contra notas humanas e medir a concordância
- Automatizar a execução da avaliação a cada mudança de modelo, instrução ou base
- Detectar alucinação e resposta fora do material com checagem contra a fonte recuperada
- Anonimizar dados de aula usados na avaliação, respeitando a LGPD
- Publicar o relatório de regressão e bloquear versões abaixo do limite combinado
Requisitos
- Python em nível de produção, com testes
- Construção de sistemas com RAG e conhecimento de seus pontos de falha
- Métodos de avaliação de modelos de linguagem e seus vieses
- Desenho de rubrica e de conjunto de referência confiável
- FastAPI e containers para publicar a rotina de avaliação
- Cuidado com dados de menores e com a LGPD
Diferenciais
- Experiência com avaliação por pares ou por modelo juiz
- Conhecimento de estatística para comparar versões com poucos exemplos
- Observabilidade de chamadas a modelos, com rastros e custo
- Contato prévio com educação ou com produto para estudantes
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Mudanças nas rubricas e nos conjuntos de referência são revisadas por professores e por outra pessoa de engenharia. Os resultados semanais de qualidade são discutidos com o time de produto pedagógico. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.