Analista de QA Sênior (Testes de Sistemas com IA em Bancos Digitais)
Sobre a vaga
Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA em Bancos Digitais). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 03/11/2026.
Um banco digital colocou em produção um assistente conversacional que responde dúvidas sobre fatura e limite e um modelo que sugere limite de crédito. Testar esses sistemas não é como testar um formulário: a resposta muda de uma execução para outra, um ajuste de prompt pode quebrar um caso que funcionava e o modelo de crédito pode se comportar diferente para certos grupos de clientes. Você vai definir e liderar a estratégia de qualidade para esse tipo de sistema.
A estratégia inclui conjuntos de casos de referência com resposta esperada e critério de avaliação, testes de regressão a cada mudança de modelo ou de prompt, testes adversariais para tentativa de extrair dado de outro cliente ou de burlar regra, verificação de limites do que o assistente pode prometer e análise de desempenho entre grupos. Também há a parte tradicional: contrato das APIs, interface do aplicativo e carga.
A estratégia funciona quando uma regressão de qualidade do modelo é pega antes do cliente, os testes rodam no pipeline e os critérios de liberação estão acordados com produto, risco e jurídico.
O que você vai fazer
- Definir a pirâmide de testes para sistemas com modelos, do componente à ponta a ponta
- Montar e manter conjuntos de casos de referência para o assistente e para o modelo de limite
- Automatizar regressão de qualidade a cada mudança de modelo, de prompt ou de dados
- Criar testes adversariais para vazamento de dado, injeção de instrução e promessa indevida
- Medir desempenho do modelo por grupo de clientes e levar os achados ao risco
- Integrar os testes ao pipeline com critérios que bloqueiam a publicação
- Orientar o time de QA e de engenharia e relatar indicadores de qualidade
Requisitos
- Automação de testes de API e de interface com ferramentas como Playwright, Cypress e Postman
- Integração de testes ao CI/CD e leitura de métricas de qualidade
- Entendimento de como modelos de linguagem e modelos de classificação falham
- Desenho de conjuntos de avaliação e de critérios de aceite para respostas não determinísticas
- SQL para preparar e conferir dados de teste
- Experiência em orientar outras pessoas e em definir padrão
Diferenciais
- Conhecimento de avaliação de viés e de equidade em modelos
- Uso de testes de carga com k6
- Noção de segurança de aplicações com modelos de linguagem
- Familiaridade com observabilidade para rastrear respostas ruins em produção
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Os critérios de liberação ficam documentados e você tem voz decisiva em segurar uma entrega que não os cumpra. As falhas encontradas em produção voltam como novos casos de referência na semana seguinte. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.