Analista de QA Sênior (Testes de Sistemas com IA no Varejo)
Sobre a vaga
Vaga aberta de Analista de QA Sênior (Testes de Sistemas com IA no Varejo). A empresa contratante é confidencial neste anúncio, e a seleção é conduzida pela Sylision. Modelo 100% remoto. Contratação: tempo integral, CLT ou PJ.
Publicada em 05/11/2026.
O varejo colocou IA em três lugares: um assistente que responde dúvidas de cliente no aplicativo, uma classificação de chamados internos e uma recomendação de produtos. Testar esse tipo de sistema é diferente de testar um cadastro, porque a mesma pergunta pode ter respostas diferentes e o erro pode ser sutil: um prazo de troca inventado, um desconto citado que não existe, um dado de outro cliente aparecendo na resposta.
Você define a estratégia de qualidade para esses sistemas. Isso quer dizer montar conjuntos de casos dourados com respostas aceitáveis, avaliar com regras determinísticas onde der e com revisão humana calibrada onde não der, testar injeção de instruções maliciosas no texto do cliente, verificar vazamento de dados pessoais, e medir degradação quando o modelo ou o prompt muda. Automatiza a regressão no pipeline e cuida dos testes tradicionais das APIs e da interface ao redor do modelo.
Os indicadores: taxa de respostas com informação incorreta, cobertura de casos dourados por tema, regressões encontradas antes de produção, tempo de resposta sob carga e custo por conversa.
O que você vai fazer
- Definir a estratégia de testes para sistemas com IA, separando o que é determinístico do que exige avaliação
- Construir e manter conjuntos de casos dourados por tema, como troca, garantia, preço e entrega
- Automatizar testes de API com Postman e Rest Assured e de interface com Playwright ou Cypress
- Testar a resistência a injeção de instruções, pedidos fora de escopo e tentativas de extrair dados
- Medir desempenho e custo sob carga com k6
- Integrar a regressão da avaliação ao pipeline CI/CD com limites para bloquear a entrega
- Registrar defeitos com a pergunta, a resposta e o critério violado
- Orientar o time na escrita de casos de teste e na leitura dos resultados
Requisitos
- Estratégia de testes e automação de API e de interface em nível sênior
- Entendimento do comportamento de modelos de linguagem e de suas falhas típicas
- Capacidade de desenhar casos de avaliação objetivos para respostas abertas
- Integração de testes em CI/CD e uso de Git
- SQL para preparar e conferir dados
- Orientação de outras pessoas e decisão sobre o que bloqueia uma versão
Diferenciais
- Teste de segurança de aplicações com modelos de linguagem
- Experiência com ferramentas de avaliação de LLM
- Teste de carga com k6
- Conhecimento da LGPD aplicada a testes
- Experiência com testes de recomendação ou de busca
Como é trabalhar aqui
Vaga 100% remota, com contratação CLT, para cliente da Sylision com sede em Minas Gerais. A qualidade participa da definição do que é uma resposta aceitável desde o início, junto a produto e engenharia. Os resultados de avaliação ficam visíveis no pipeline para todo o time. Na candidatura, informe a sua pretensão salarial.
Benefícios oferecidos pela empresa contratante
- Ambiente colaborativo, com senso de comunidade e conquistas celebradas em equipe
- Trabalhe de qualquer lugar, com liberdade e flexibilidade
- Conexão global: convivência com times de diferentes países e culturas
- Apoio à saúde física com TotalPass e Mediquo
- Cuidado com a saúde mental pelo programa Team Care
- Contratação e jornada definidas com a empresa contratante
Tecnologias
Vagas parecidas
Como funciona o processo
- Você envia o currículo uma única vez. Ele entra no banco da Sylision e vale para os processos compatíveis, os de hoje e os que abrirem depois.
- A busca é feita por pessoas: quando surge um processo que combina com o que você faz, a gente chama, normalmente por WhatsApp.
- Os seus dados são tratados conforme a LGPD, e a remoção é feita a qualquer momento, a seu pedido.
Antes de aceitar qualquer proposta
A Sylision existe para você saber onde está entrando
Nós somos um acervo público sobre como as empresas funcionam por dentro, feito de respostas de quem já saiu delas. Dá para ver quanto tempo as pessoas ficavam, quantas saíram no último ano e o que mudou de um ano para o outro, antes de você responder a uma proposta.
As vagas são uma porta. O que a gente faz é isto, e ele só existe porque quem já saiu respondeu. Leva de 2 a 3 minutos, é de múltipla escolha, e não pede CPF nem e-mail.
Candidate-se a esta vaga
Anexe o seu currículo. Ele vale para esta vaga e para os próximos processos compatíveis, sem refazer cadastro.