Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem na Saúde). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 06/11/2026.
Um assistente responde a profissionais de saúde com base em protocolos clínicos e bulas internas. Uma resposta que soa certa mas cita a dose errada, ou que ignora uma contraindicação presente no documento, é pior do que nenhuma resposta. Antes de qualquer mudança de modelo, de prompt ou de base de documentos, alguém precisa dizer com números se o sistema melhorou ou piorou.
Você vai construir essa régua: um conjunto de perguntas reais anonimizadas com resposta de referência revisada por especialistas, métricas separadas para recuperação do trecho certo, fidelidade ao documento e recusa quando não há base, e uma bateria que roda a cada mudança. O difícil é calibrar um juiz automático contra a opinião humana, detectar vazamento do conjunto de teste e tratar casos em que dois protocolos se contradizem.
O resultado se mede pela concordância entre o juiz automático e os revisores, pelo número de regressões barradas antes de ir ao ar e pela taxa de respostas sem sustentação no documento.
O que você vai fazer
- Montar e versionar o conjunto de avaliação com amostras de perguntas anonimizadas
- Definir métricas de recuperação, fidelidade, cobertura e recusa correta
- Calibrar o juiz automático comparando com a nota de revisores clínicos
- Rodar a bateria no pipeline e bloquear mudança que piore as métricas críticas
- Analisar falhas por categoria e transformar cada uma em caso de teste permanente
- Medir custo e latência por resposta junto da qualidade, para decidir trocas de modelo
- Acompanhar em produção uma amostra de conversas, respeitando a LGPD
- Escrever o relatório de cada rodada para o time e para quem responde pelo risco clínico
Requisitos
- Construção de sistemas com RAG e conhecimento de como cada etapa pode falhar
- Python sólido e uso de FastAPI ou equivalente
- Desenho de métricas e de conjuntos de teste sem vazamento
- Entendimento dos vieses de um modelo usado como juiz
- Cuidado com dado de saúde e anonimização
- Capacidade de conduzir revisão com especialistas não técnicos
Diferenciais
- Experiência com ferramentas de rastreamento de execução de LLM
- Noção de terminologia clínica e de fontes como bulas e diretrizes
- Testes estatísticos para comparar duas versões do sistema
- Prática com modelos abertos hospedados internamente
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Cada mudança no prompt ou na base de documentos chega com o resultado da bateria anexado. O trabalho é acompanhado em revisão semanal com quem valida o conteúdo, e os critérios de aceite ficam escritos junto do código. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.