Analista de QA Sênior (Testes de Sistemas com IA na Indústria)
Sobre a vaga
Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA na Indústria). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 06/11/2026.
Uma indústria passou a colocar IA dentro dos seus sistemas: assistente que responde sobre procedimentos de manutenção, modelo que sugere diagnóstico de falha a partir de leituras de sensor, classificação automática de não conformidades e visão computacional na inspeção de peças. Esses sistemas não se comportam como software tradicional: a mesma entrada pode dar saídas diferentes, o desempenho muda com os dados e a resposta pode estar errada com aparência de certa. Você vai definir como testá-los.
A estratégia mistura técnicas. Para os assistentes com LLM, conjuntos de perguntas de referência, avaliação de fidelidade ao documento, testes de recusa e de injeção de instrução. Para os modelos de previsão e de visão, conjuntos de teste por subgrupo, casos extremos, resistência a ruído de sensor e a variação de iluminação e monitoramento de deriva. Para a parte determinística ao redor, os testes de API e de interface de sempre. O risco principal é o erro silencioso: sistema que responde, mas responde mal.
Qualidade se mede por cobertura dos cenários de risco, por erros encontrados antes da produção, por estabilidade das métricas entre versões e por clareza dos critérios de aceite.
O que você vai fazer
- Definir a estratégia de teste para sistemas com IA: o que é determinístico, o que é estatístico e como cada parte é validada
- Construir conjuntos de referência e rotinas de avaliação automática para respostas de LLM, com fidelidade e recusa
- Testar resistência a falha: perguntas ambíguas, entrada mal formada, injeção de instrução e vazamento de dado sensível
- Criar testes por subgrupo e de casos extremos para modelos de previsão e de visão, e estabelecer limiares de aceite
- Automatizar a execução no pipeline e bloquear versão que degrade as métricas
- Testar a camada de API e de interface que cerca o modelo
- Acompanhar métricas em produção e transformar falhas reais em novos casos de teste
- Orientar o time sobre qualidade de sistemas com IA e revisar o trabalho de outras pessoas
Requisitos
- Automação de testes com Python, pytest e ferramentas de teste de API e de interface
- Noção de como modelos de linguagem e de aprendizado de máquina se comportam e falham
- Construção de conjuntos de avaliação e escolha de métricas
- Pensamento estatístico: variabilidade, limiar de aceite e amostra
- Pipeline de integração contínua com porta de qualidade
- Capacidade de documentar risco e critério de aceite para negócio
- Responsabilidade pela estratégia e orientação a outras pessoas
Diferenciais
- Teste de segurança de LLMs, como injeção de instrução
- Monitoramento de deriva de dados e de modelos
- Conhecimento de manutenção ou de inspeção industrial
- Testes de visão computacional com imagens sintéticas
- Noções de LGPD em dados de avaliação
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. O trabalho é de desenho e de código, com revisão de estratégia por par e conversa constante com quem constrói os modelos. Os resultados de cada versão ficam registrados para comparação. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.