Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem no Agronegócio)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Pleno (Avaliação de Modelos de Linguagem no Agronegócio). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 03/11/2026.
Uma empresa do agronegócio está colocando modelos de linguagem em frentes diferentes: assistente que responde ao técnico de campo sobre bula e carência de defensivo, leitura de laudos de solo, apoio ao atendimento de crédito rural e resumo de notícias de mercado. Antes de dizer que cada uma funciona, é preciso uma forma séria de medir. Você vai construir a avaliação dos modelos de linguagem, que decide qual modelo, qual prompt e qual versão chegam ao produtor.
Nesse domínio, a resposta errada tem consequência física. Uma carência de aplicação trocada pode contaminar a colheita, e uma dose citada de produto errado vira prejuízo e passivo. A avaliação precisa de perguntas reais de campo, respostas de referência feitas por agrônomos, verificação de citação da fonte e testes específicos para o que o modelo não deve responder, como receituário que só pode vir de profissional habilitado.
Medimos pela correção factual em um conjunto de referência, pela taxa de alucinação em perguntas sem resposta na base e pela estabilidade entre versões. Como pleno, você é dono da frente de avaliação, e as decisões de modelo passam por seus números.
O que você vai fazer
- Construir com agrônomos o conjunto de perguntas reais de campo, com respostas de referência e fontes
- Definir métricas de correção, de citação e de recusa adequada, por tipo de pergunta
- Implementar um laço de avaliação automático que roda a cada mudança de prompt, de base ou de modelo
- Calibrar avaliação por modelo contra julgamentos humanos e documentar seus vieses
- Montar testes adversariais com perguntas ambíguas, unidades trocadas e produtos de nomes parecidos
- Comparar modelos de mercado e abertos em qualidade, custo e latência, e recomendar com os números
- Acompanhar a qualidade em produção por amostragem e alimentar o conjunto com os erros reais
- Publicar um relatório curto de cada versão, com o que melhorou, o que piorou e o que ainda não se sabe
Requisitos
- Prática em aplicações com LLMs, incluindo RAG, e em avaliação de suas respostas
- Python para construir o laço de avaliação, com testes e reprodutibilidade
- Desenho de conjunto de referência e de métricas, com atenção a vazamento entre treino e teste
- Noção de estatística para comparar versões e dizer se a diferença é real
- Rigor na leitura de erro e na categorização de falhas
- Comunicação clara com especialistas de domínio que não são de tecnologia
Diferenciais
- Conhecimento do domínio agronômico, como bula, carência e cultura
- Ter usado ferramentas de avaliação e rastreio de LLMs
- Experiência com avaliação de respostas em português
- Noção de busca híbrida e de reranqueamento
- Interesse por segurança e limites de uso de modelos
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Cada mudança no sistema só segue adiante com o resultado da avaliação anexado, e os casos que erraram viram novos exemplos do conjunto. Agrônomos e engenheiros revisam juntos os erros mais graves em encontro semanal. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.