Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos)
Sobre a vaga
Vaga aberta de Engenheiro(a) de IA Sênior (Avaliação de Modelos de Linguagem em Recursos Humanos). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 05/11/2026.
O produto de recursos humanos usa modelos de linguagem em três lugares: resumir currículos para a pessoa recrutadora, responder dúvidas de colaboradores sobre políticas internas e apoiar a escrita de feedback de desempenho. Cada troca de modelo, de prompt ou de base de documentos pode melhorar uma coisa e piorar outra sem ninguém perceber. Você vai construir o sistema que avalia isso antes de a mudança ir para produção.
Avaliar texto de RH exige cuidado extra. Um resumo que omite uma certificação prejudica uma pessoa candidata, uma resposta errada sobre férias gera conflito, e um feedback gerado pode carregar viés de gênero ou de faixa etária sem que ninguém note. Você vai montar conjuntos de casos revisados por especialistas, métricas de fidelidade ao documento, testes de viés com pares de entradas que diferem só em um atributo protegido, e usar modelos como juízes depois de calibrá-los contra julgamento humano.
O resultado esperado é uma bateria que roda a cada mudança, com relatório de regressão e custo por avaliação, e que dá ao time segurança para trocar de modelo em dias e não em meses.
O que você vai fazer
- Construir conjuntos de avaliação por caso de uso, com exemplos revisados por especialistas de RH
- Medir fidelidade ao documento, cobertura de informação e recusa correta quando não há resposta
- Montar testes de viés com pares de entradas contrafactuais e relatar diferenças por atributo
- Calibrar avaliadores baseados em modelos contra rotulagem humana e medir a concordância
- Integrar a bateria ao pipeline para bloquear regressões antes da publicação
- Acompanhar em produção qualidade, custo por requisição e latência com amostragem para revisão
- Proteger dados pessoais de candidatas e colaboradores nos conjuntos de teste, conforme a LGPD
Requisitos
- Python sólido e APIs com FastAPI
- Construção de aplicação com LLMs, incluindo RAG e uso de ferramentas
- Desenho de métricas e de conjuntos de avaliação para texto gerado
- Noção de estatística para comparar versões sem se enganar com ruído
- Cuidado com dados pessoais e com risco de discriminação em decisão automatizada
- Docker, Git e revisão de código
Diferenciais
- Ter usado modelos como juízes e medido o desvio contra revisão humana
- Experiência com bancos vetoriais e reordenação de resultados
- Conhecimento de viés algorítmico e de métricas de equidade
- Prática com rastreamento de execuções e observabilidade de LLMs
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em São Paulo, SP. Mudança em prompt ou em modelo só avança com o relatório da bateria anexado ao pedido de revisão. Casos novos de falha vindos de produção entram no conjunto de avaliação toda semana. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.