Analista de QA Sênior (Testes de Sistemas com IA no E-commerce)
Sobre a vaga
Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no E-commerce). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 04/11/2026.
O assistente de compras responde sobre preço, prazo de entrega, estoque e política de troca, e recomenda produtos. Testar um sistema assim não se parece com testar um formulário: a mesma pergunta pode ter respostas diferentes, e uma resposta fluente pode estar errada. O pior erro é o inventado, como prometer um desconto que não existe, afirmar estoque inexistente ou citar prazo de entrega que a transportadora não cumpre.
Sua estratégia combina camadas. Testes tradicionais cobrem as APIs, o carrinho e as integrações de preço e de estoque. Um conjunto de avaliação curado verifica a verdade das respostas contra a fonte de dados. Testes adversariais tentam o contrário: pedir que o assistente ignore regras, revelar dados de outro cliente, aceitar um cupom inventado. Um juiz automático ajuda em escala, mas é calibrado contra revisão humana.
Como analista sênior, você define a estratégia, o que bloqueia uma versão e quais métricas comprovam a qualidade: taxa de resposta fiel à fonte, taxa de recusa correta, defeitos por mil conversas e regressão entre versões do prompt e do modelo.
O que você vai fazer
- Definir a estratégia de testes do assistente, com camadas de API, de resposta e de segurança
- Montar e manter o conjunto de avaliação com casos reais anonimizados
- Escrever testes automatizados de ponta a ponta com Playwright e de API com Postman
- Criar casos adversariais para vazamento de dados, injeção de instrução e promessa indevida
- Calibrar o juiz automático contra revisão humana por amostra
- Rodar regressão a cada mudança de prompt, modelo ou base de conhecimento, no pipeline
- Orientar o time sobre qualidade de IA e definir critérios de liberação
Requisitos
- Estratégia e automação de testes de APIs e de interface web
- Entendimento de como sistemas com modelos de linguagem falham: alucinação, injeção, inconsistência
- Construção de conjuntos de avaliação e métricas para respostas abertas
- Python para escrever ferramentas de teste e analisar resultados
- Pipeline de integração contínua com portões de qualidade
- Comunicação de risco para produto e jurídico
- Capacidade de orientar outras pessoas de QA
Diferenciais
- Experiência com testes de segurança em aplicações com LLM
- Calibração de avaliadores automáticos e medidas de concordância
- Conhecimento de comércio eletrônico, preço e estoque
- Testes de carga em serviços com chamadas a modelos
- Observabilidade de conversas, com amostragem para revisão
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. Nenhuma versão do assistente é liberada sem passar pelo conjunto de avaliação e pelos casos adversariais, e a decisão fica registrada. Uma revisão quinzenal analisa as conversas que falharam em produção e transforma cada uma em novo teste. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.