Teste A/B: Como rodar e ler resultados sem se enganar [2026]

A maioria dos testes A/B que vemos por aí termina com um vencedor que só existe no painel da ferramenta. O time troca a cor do botão, espera quatro dias, vê um +18% em verde, comemora no Slack e implementa. Três meses depois, a taxa de conversão está exatamente onde estava. O teste A/B foi feito, o resultado foi lido e a decisão foi tomada, só que em cima de ruído estatístico.

Em 2026 esse problema ficou mais agudo. Com Claude Code, Cursor e as ferramentas de vibe coding, criar cinco variações de uma landing page leva uma tarde. O gargalo saiu da produção e foi parar na leitura: quem tem tráfego limitado e muitas ideias acaba testando demais, parando cedo e acreditando em números que não se sustentam. Na Marfin, já caímos em algumas dessas armadilhas, e boa parte deste guia nasceu de testes que tivemos de jogar fora.

A seguir mostramos como planejar um teste A/B do jeito certo (hipótese, métrica e tamanho de amostra), como rodar sem contaminar os dados, como ler o resultado com significância estatística e intervalo de confiança, quais ferramentas de teste A/B valem a pena em 2026 e quanto cada uma custa.

Link para esta seçãoO que é teste A/B e onde ele entra no CRO

Teste A/B é um experimento controlado. Você divide o tráfego de forma aleatória entre duas versões de uma página, e-mail ou fluxo, mede uma métrica definida com antecedência e compara os dois grupos. A versão A é o controle (o que já existe) e a B é a variação. Como a divisão é aleatória, qualquer diferença consistente entre os grupos vem da mudança, já que sazonalidade, campanhas e humor do mercado afetam os dois lados igualmente.

CRO (conversion rate optimization, ou otimização da taxa de conversão) é a disciplina maior, e o teste A/B é o instrumento de medição dela. Pesquisa com usuário, heatmap, gravação de sessão e análise de funil geram hipóteses. O teste diz quais delas se confirmam. Quem pula a parte da pesquisa e vai direto testar cor de botão está fazendo CRO pela metade. Dentro de uma estratégia de marketing de conteúdo, o teste A/B é o que transforma opinião sobre título, oferta e chamada em dado.

Também vale dizer o que o teste A/B resolve mal. Ele mede o efeito de curto prazo de uma mudança sobre uma métrica observável. Perguntas como "nossa marca está forte?" ou "devemos entrar num mercado novo?" ficam fora do alcance dele, e tentar responder isso com experimento costuma gerar conclusões frágeis. O terreno ideal são decisões repetíveis, com tráfego suficiente e resultado mensurável em dias ou semanas.

Link para esta seçãoTeste A/B, A/B/n, multivariado e split URL

Os nomes confundem, então vale separar. O teste A/B clássico compara duas versões. O A/B/n compara três ou mais (controle contra B, C e D), e cada variação extra divide o tráfego e aumenta a chance de achar um falso vencedor, então exige mais amostra e correção estatística para comparações múltiplas. O teste multivariado (MVT) combina vários elementos ao mesmo tempo, por exemplo três títulos com duas imagens, gerando seis combinações. Ele só faz sentido com tráfego alto, porque cada combinação precisa de amostra própria. O split URL manda os grupos para endereços diferentes e é o formato certo quando a mudança é grande demais para um editor visual, como um redesign completo ou um checkout novo.

Para a maioria das empresas brasileiras em fase de crescimento, com dezenas de milhares de visitas por mês, o A/B simples resolve quase todos os casos. Multivariado com pouco tráfego é a receita mais rápida para meses de teste sem conclusão nenhuma.

Link para esta seçãoAntes de rodar: hipótese, métrica e tamanho de amostra

Quase todo autoengano em teste A/B começa antes de o teste existir. Se a hipótese é vaga, a métrica é escolhida depois e o tamanho de amostra nunca foi calculado, qualquer resultado pode ser lido como vitória. Por isso o planejamento vem antes de abrir qualquer ferramenta, e é a parte que mais separa programas de CRO que geram aprendizado daqueles que só geram slides.

Link para esta seçãoEscreva a hipótese antes de abrir a ferramenta

Uma boa hipótese tem três partes: a mudança, o efeito esperado e o motivo. Um formato que usamos: "Se trocarmos o título genérico por um que cite o resultado concreto do produto, a taxa de cadastro vai subir, porque nas gravações de sessão vemos visitantes saindo antes de rolar a página". O motivo amarra o teste a uma evidência e evita o teste de palpite. Vale registrar tudo num documento simples, com data de início, métrica primária, duração planejada e o que o time vai fazer em caso de empate.

A hipótese também ajuda no copywriting da variação. Quando o motivo está escrito, fica claro qual objeção a nova versão precisa resolver, e o texto sai mais afiado. Variações escritas sem hipótese tendem a ser só "diferentes", e diferença sem direção raramente move métrica.

Link para esta seçãoEscolha uma métrica primária e métricas de guarda

A métrica primária é a única que decide o teste. Ela precisa estar perto da mudança (quem mexe no formulário mede envio de formulário) e ligada a valor real para o negócio. Clique no botão costuma ser uma métrica ruim, porque é fácil aumentar clique e piorar a conversão final com uma chamada mais agressiva que atrai curiosos.

Métricas de guarda (guardrail metrics) são as que não podem piorar: taxa de reembolso, cancelamento, tempo de carregamento, ticket médio. Elas funcionam como poder de veto sobre o vencedor. Uma variação que sobe cadastro em 8% e derruba a ativação em 15% é um prejuízo com cara de vitória.

Definir tudo isso antes do teste corta o vício mais comum de quem lê painel: olhar vinte métricas, achar a que deu verde e declarar vitória por ela.

Link para esta seçãoCalcule o tamanho de amostra antes de começar

Esse é o passo que mais gente pula e o que mais faz diferença. O tamanho de amostra depende de quatro números: a taxa de conversão atual (baseline), o menor efeito que você quer conseguir detectar (MDE, minimum detectable effect), o nível de significância (normalmente 5%) e o poder estatístico (normalmente 80%).

Um exemplo com números reais. Uma landing page converte 3%. Para detectar uma melhora relativa de 10% (de 3% para 3,3%), com significância de 5% e poder de 80%, você precisa de cerca de 53 mil visitantes por variação, ou 106 mil no total. Se aceitar detectar só melhoras de 20% ou mais (de 3% para 3,6%), o número cai para perto de 14 mil por variação. Dobrar o efeito mínimo derruba a amostra para algo perto de um quarto, porque o tamanho de amostra cresce com o quadrado da precisão desejada.

Agora aplique isso à realidade. Um site com 20 mil visitas por mês na página testada levaria mais de cinco meses para concluir o teste de 10%. Na prática, sites com pouco tráfego devem testar mudanças grandes (oferta, preço, estrutura da página, prova social) e deixar ajuste de cor e microcopy para quando o volume permitir. A calculadora gratuita de Evan Miller, as calculadoras de poder estatístico do GrowthBook e do Statsig e a calculadora de duração da VWO fazem a conta em segundos.

Link para esta seçãoComo fazer um teste A/B passo a passo

Com hipótese, métrica e amostra definidas, a execução tem menos mistério e mais disciplina. Este é o fluxo que seguimos.

Link para esta seçãoImplemente a variação e faça QA nas duas versões

Primeiro, a implementação. Editores visuais, como os da VWO e da Convert, funcionam bem para mudanças de texto e layout simples, mas costumam causar o flicker, aquele piscar em que o visitante vê a versão original por meio segundo antes de a variação carregar. O flicker contamina o teste, porque a experiência da variação fica pior por um motivo que nada tem a ver com a hipótese. Para mudanças maiores, preferimos implementar no código com feature flag, renderizando a variação no servidor.

Aqui a IA encurta muito o caminho. O Claude Code, a ferramenta que mais usamos na Marfin, escreve a variação, liga a flag no SDK da ferramenta de experimento e cria o evento de conversão em poucos minutos, a partir de uma descrição da hipótese. No Cursor, a IDE que usamos para building no dia a dia, o fluxo é o mesmo, com o Claude integrado ao editor. Para quem ainda está escolhendo o ambiente, nosso comparativo das melhores IDEs com IA cobre as opções em detalhe.

Depois de implementado, faça QA nas duas versões em desktop e celular, em pelo menos dois navegadores, e confirme que o evento de conversão dispara uma única vez por ação. Evento duplicado é uma das causas mais comuns de "vitórias" que somem quando alguém confere os dados no banco.

Link para esta seçãoRode um teste A/A antes do primeiro A/B

Um teste A/A coloca a mesma versão nos dois grupos. O resultado esperado é empate. Se a ferramenta aponta diferença significativa entre duas páginas idênticas com frequência maior que a esperada, alguma coisa está errada na randomização, no rastreamento ou na contagem de usuários. Fazer um A/A ao trocar de ferramenta ou de stack custa uma ou duas semanas e evita meses de decisões em cima de dados quebrados.

Link para esta seçãoDefina a duração em semanas cheias

Rode o teste por semanas completas. O comportamento de segunda-feira de manhã é diferente do de sábado à noite, e um teste que cobre cinco dias úteis e nenhum fim de semana mede uma amostra torta do seu público. A regra que usamos: mínimo de duas semanas cheias, mesmo que a amostra seja atingida antes, e máximo de quatro a seis semanas, porque testes longos demais começam a sofrer com cookies apagados, usuários que trocam de dispositivo e mudanças externas no tráfego.

Durante o teste, deixe tudo congelado: nada de mudar a divisão de tráfego, editar a variação ou lançar uma campanha grande que alimente só um dos lados. Se algo precisar mudar, o teste recomeça do zero.

Também evite rodar testes sobrepostos na mesma página e na mesma métrica sem uma ferramenta que trate a interação entre eles. Dois testes no mesmo checkout, ao mesmo tempo, podem se anular ou se somar de um jeito impossível de separar depois.

Link para esta seçãoComo ler o resultado de um teste A/B sem se enganar

O painel ficou verde. Antes de comemorar, vale entender exatamente o que aquele número afirma e o que fica de fora dele. As seções abaixo cobrem os conceitos de leitura e, em seguida, os erros que mais vemos.

Link para esta seçãoSignificância estatística e p-valor em português claro

A significância estatística responde a uma pergunta específica: se não houvesse diferença nenhuma entre A e B, qual seria a chance de ver um resultado tão extremo quanto o observado? Essa chance é o p-valor. Um p-valor abaixo de 0,05 quer dizer que, num mundo sem diferença real, um resultado assim apareceria menos de 5% das vezes.

O p-valor deixa de fora três coisas que todo mundo gostaria de saber: a probabilidade de B ser melhor que A, o tamanho do ganho e se o ganho vai se manter. O "95% de confiança" que aparece no painel de muitas ferramentas é uma simplificação que induz a erro, porque passa a ideia de 95% de certeza de vitória. Com significância de 5%, um em cada vinte testes sem efeito real vai aparecer como vencedor só por acaso. Se o time roda vinte testes por trimestre, espere pelo menos um falso vencedor, mesmo fazendo tudo certo.

Link para esta seçãoIntervalo de confiança vale mais que o vencedor

O número mais útil do relatório é o intervalo de confiança do efeito. Um resultado de "+12%, intervalo de +1% a +23%" diz que o ganho provavelmente existe, mas pode ser pequeno. Um "+12%, intervalo de -4% a +28%" diz que a ferramenta ainda está no escuro, e o efeito pode até ser negativo. Ler o intervalo obriga o time a encarar a incerteza e a decidir com base no pior cenário plausível.

Uma regra prática nossa: se o limite inferior do intervalo está perto de zero, tratamos como empate técnico e só implementamos a variação se ela for melhor por outro motivo, como código mais simples ou marca mais consistente.

Link para esta seçãoEspiar o resultado e parar cedo

Esse é o erro número um, de longe. A estatística frequentista clássica assume que você olha o resultado uma única vez, no fim do horizonte planejado. Quem abre o painel todo dia e encerra o teste no primeiro momento em que aparece p abaixo de 0,05 está dando ao acaso várias chances de produzir um falso vencedor. Simulações clássicas, como as publicadas por Evan Miller, mostram que espiar repetidamente pode levar a taxa de falso positivo de 5% para 20% ou mais, dependendo de quantas vezes você olha.

Resultados iniciais também oscilam muito. Nos primeiros dias, com poucas conversões, é comum ver +40% ou -30% que somem conforme a amostra cresce. Se você precisa acompanhar antes do fim (e quase todo mundo precisa), use uma ferramenta com teste sequencial, que ajusta o cálculo para leituras contínuas, ou combine com o time que o teste só para cedo em caso de dano claro numa métrica de guarda.

Link para esta seçãoCaçar segmentos depois do fato

O teste deu empate no geral, aí alguém filtra por dispositivo, depois por origem de tráfego, depois por estado, e encontra: "no celular, vindo do Instagram, em São Paulo, a variação ganhou 34%". Com recortes suficientes, sempre aparece um segmento vencedor, pela mesma lógica dos vinte testes. Segmentação feita depois do resultado serve para gerar a próxima hipótese, e essa hipótese precisa de um teste próprio, desenhado para aquele segmento, antes de virar decisão.

Link para esta seçãoSample ratio mismatch: quando a divisão de tráfego está errada

Se o teste foi configurado para 50/50 e terminou com 10 mil usuários no controle e 9.600 na variação, desconfie. Um teste qui-quadrado simples mostra que uma diferença desse tamanho tem chance de cerca de 0,4% de acontecer por acaso. Isso se chama sample ratio mismatch (SRM) e quase sempre indica problema técnico: a variação carrega mais devagar e perde visitantes antes do rastreamento, um bot cai só num dos grupos, um redirecionamento quebra cookies. Com SRM, o resultado inteiro está comprometido, por melhor que pareça. Statsig e GrowthBook alertam SRM automaticamente, e nas ferramentas que não fazem isso vale rodar a conta na mão antes de qualquer outra análise.

Link para esta seçãoEfeito novidade, sazonalidade e a maldição do vencedor

Usuários recorrentes reagem a qualquer novidade, e uma interface diferente costuma ganhar cliques nas primeiras semanas só por chamar atenção. Para checar, compare o efeito entre a primeira e a segunda metade do teste, ou entre visitantes novos e recorrentes. Se o ganho encolhe com o tempo, desconfie.

Sazonalidade também engana. Um teste rodado na semana da Black Friday mede o comportamento de um público que compra por impulso e com desconto, e o vencedor de novembro pode perder em março. Evite datas atípicas ou, se não der, repita o teste depois.

Por fim, a maldição do vencedor: mesmo quando o efeito é real, o número medido tende a superestimá-lo. Testes costumam ser encerrados quando o resultado cruza o limite de significância, e isso acontece justamente quando o acaso deu uma ajuda. Prepare-se para ver um +15% medido no teste virar algo bem menor em produção. Planeje o impacto no negócio com o limite inferior do intervalo de confiança, e o time evita prometer ao financeiro um ganho que nunca chega.

Link para esta seçãoFrequentista, bayesiano ou sequencial: como a sua ferramenta calcula

Cada ferramenta de teste A/B usa um motor estatístico, e saber qual está por trás do painel muda o jeito de ler os números.

O método frequentista de horizonte fixo é o clássico: você define a amostra, roda até o fim e olha uma vez. Ele entrega p-valor e intervalo de confiança e pune duramente quem espia antes da hora. O método bayesiano entrega uma "probabilidade de a variação ser melhor" e uma estimativa do ganho esperado, o que é mais intuitivo para quem não é estatístico. A VWO usa estatística bayesiana no SmartStats, e o GrowthBook vem com o motor bayesiano como padrão e oferece o frequentista como opção. A interpretação é mais amigável, só que espiar e parar cedo continua inflando os erros, ao contrário do que muita gente acredita.

O teste sequencial foi criado justamente para quem precisa olhar o resultado várias vezes. Ele ajusta os limites de decisão para leituras contínuas e mantém a taxa de erro sob controle. O Optimizely usa um motor sequencial, o Stats Engine, desde 2015, e Statsig e GrowthBook oferecem teste sequencial como configuração. O custo é um pouco de poder estatístico: para o mesmo efeito, o teste sequencial costuma precisar de mais amostra para declarar resultado.

Vale conhecer também o CUPED, técnica de redução de variância que usa o comportamento do usuário antes do teste para diminuir o ruído da medição. Em produtos com usuários recorrentes, como SaaS e aplicativos, o CUPED pode encurtar bastante a duração necessária. Statsig e GrowthBook implementam a técnica de forma nativa. Para quem roda teste A/B dentro do produto, além das páginas de marketing, a diferença na prática é grande.

Link para esta seçãoFerramentas de teste A/B em 2026

Desde que o Google Optimize foi descontinuado, em setembro de 2023, o mercado se dividiu em dois grupos. De um lado ficaram as plataformas de experimentação voltadas para produto e engenharia, com feature flags, SDKs e estatística moderna. Do outro, as ferramentas voltadas para marketing, com editor visual e foco em páginas.

Link para esta seçãoPostHog, GrowthBook e Statsig: experimentação para quem tem código

O PostHog junta analytics, gravação de sessão, feature flags e experimentos na mesma plataforma, com um plano gratuito que cobre 1 milhão de requisições de feature flag por mês. Os experimentos são cobrados junto com as flags, então o custo acompanha o volume de requisições. Para startups, a combinação é prática porque funil, gravações e teste ficam no mesmo lugar, e a hipótese nasce do mesmo dado que mede o resultado.

O GrowthBook é open source e pode ser hospedado por conta própria de graça. Ele roda as análises direto no seu data warehouse (BigQuery, Snowflake, Postgres), o que agrada a quem já centraliza eventos num banco. Se o seu backend está no Supabase, por exemplo, dá para apontar o GrowthBook para o Postgres do projeto e analisar experimentos com os dados que já existem.

O Statsig, comprado pela OpenAI em setembro de 2025 por cerca de US$ 1,1 bilhão, continua disponível como produto, com plano gratuito de 2 milhões de eventos por mês e um dos motores estatísticos mais completos do mercado, com CUPED, teste sequencial e alerta de SRM nativos.

Esse grupo pede alguém que saiba mexer em código, mas com Claude Code ou Cursor essa barreira caiu muito. Instalar o SDK, criar a flag e registrar o evento de conversão viraram tarefas de um prompt bem escrito, desde que alguém revise o que foi gerado antes de subir para produção.

Link para esta seçãoVWO, Convert e Optimizely: experimentação para times de marketing

A VWO e a Convert são as opções mais comuns para times de marketing que querem editor visual, segmentação de público e relatórios prontos sem depender de desenvolvedor para cada teste. A Convert se destaca no custo-benefício, com planos a partir de US$ 299 por mês no anual. A VWO tem um ecossistema maior (heatmaps, gravações, personalização), vendido em módulos separados, e trocou o plano gratuito por um período de teste para novos cadastros. O Optimizely é a escolha enterprise, com contratos que costumam começar na casa dos US$ 36 mil por ano e sobem conforme o tráfego. Para a maioria das empresas brasileiras, é potência demais pelo preço.

Antes de escolher, pense no que será testado. Se o grosso dos testes acontece em landing pages e o time de marketing quer autonomia, uma ferramenta com editor visual compensa. Se os testes envolvem onboarding, preço e funcionalidades, uma plataforma com feature flags no código é o caminho mais limpo.

Link para esta seçãoE-mail, anúncios e testes fora do site

Teste A/B também vale para e-mail e mídia paga, com cuidados próprios. Em e-mail marketing, testar assunto pela taxa de abertura ficou menos confiável desde que o Mail Privacy Protection da Apple passou a abrir e-mails automaticamente, então prefira cliques ou conversões como métrica primária. Nas plataformas de anúncio, os testes nativos (como os experimentos da Meta e do Google Ads) dividem o público com mais rigor do que subir dois anúncios no mesmo conjunto, situação em que o algoritmo entrega mais para o anúncio que ele próprio prefere e a comparação perde o sentido.

Link para esta seçãoPreços e planos

Os valores abaixo foram levantados em outubro de 2026, em dólar, e mudam com frequência. Várias dessas ferramentas cobram por usuário testado ou por evento, então o custo real depende do seu tráfego.

Para quem está começando, a recomendação é simples: comece pelo plano gratuito do PostHog, do GrowthBook ou do Statsig. Os três cobrem com folga o volume de uma startup em fase inicial e entregam estatística melhor do que muita ferramenta paga de cinco anos atrás. Ferramentas de marketing com editor visual passam a compensar quando o time roda vários testes por mês e o custo de depender de desenvolvedor fica maior que a assinatura.

Link para esta seção9 dicas para rodar testes A/B que valem alguma coisa

1. Teste o que tem tamanho para aparecer. Com pouco tráfego, priorize mudanças de oferta, preço, estrutura e prova social. Ajustes pequenos geram efeitos pequenos, e efeitos pequenos exigem amostras que a maioria dos sites nunca vai ter.

2. Registre o plano antes de começar. Hipótese, métrica primária, métricas de guarda, tamanho de amostra e duração vão para um documento datado. Isso elimina a tentação de reinterpretar o teste depois que o resultado aparece.

3. Use o funil para escolher onde testar. Etapas com muito tráfego e queda grande concluem testes mais rápido e têm mais espaço para melhora. Começar por elas acelera o ciclo de aprendizado nos primeiros meses do programa.

4. Rode um A/A sempre que trocar de ferramenta. Duas semanas de A/A revelam problemas de randomização, rastreamento e contagem que contaminariam todos os testes seguintes. É um custo pequeno perto do prejuízo de decidir em cima de dados quebrados.

5. Confira o SRM antes de qualquer outra métrica. Se a divisão de tráfego saiu diferente do configurado, o resultado perde a validade, por melhor que pareça. Investigue a causa técnica, corrija e rode de novo.

6. Decida pelo intervalo de confiança. O efeito médio do painel tende a ser otimista por causa da maldição do vencedor. O limite inferior do intervalo mostra o pior cenário plausível, e é com ele que a decisão de negócio deve ser tomada.

7. Mantenha um registro de todos os testes, inclusive os perdedores. Uma planilha ou página no Notion com hipótese, resultado, intervalo e aprendizado vira o ativo mais valioso do programa de CRO. Testes que perderam mostram o que o seu público rejeita e evitam repetir ideias ruins um ano depois.

8. Use IA para gerar variações e revisar a análise. O Claude ajuda a escrever variações de título e oferta a partir das objeções que aparecem na pesquisa com clientes, e o Claude Code monta o script de análise com teste qui-quadrado e intervalo de confiança em minutos. A decisão continua com o time, e a IA acelera as partes mecânicas.

9. Aceite o empate como resultado. Boa parte dos testes bem feitos termina sem diferença significativa, e isso é informação útil: a mudança deixou a métrica onde estava, então dá para escolher a versão mais simples e passar para a próxima hipótese. Forçar um vencedor em cima de um empate é a forma mais cara de se enganar.

Ron Kohavi, que liderou a área de experimentação da Microsoft, costuma contar que cerca de um terço das ideias testadas por lá melhorava a métrica, um terço não mudava nada e um terço piorava. Se empresas com milhões de usuários e times inteiros de estatísticos acertam um terço das vezes, um time pequeno que declara vitória em quase todo teste provavelmente está lendo ruído.

O caminho que recomendamos é começar pequeno: um teste por vez, numa página com tráfego suficiente, com plano registrado e duração definida. Junte isso a uma estratégia de conteúdo que gere tráfego constante e, mês a mês, o time acumula uma base de aprendizados sobre o próprio público que nenhum concorrente consegue copiar. Esse acúmulo de testes honestos, inclusive os que deram empate, é o que separa quem otimiza conversão de quem só coleciona gráficos verdes.

Leia também:

• Marketing de conteúdo: o guia completo
• Como criar uma landing page que converte, com exemplos reais
• Copywriting: como escrever textos que vendem
• E-mail marketing: campanhas que convertem
• Funil de vendas: como montar, com templates
• Growth hacking: estratégias e frameworks
• Geração de leads: guia completo
• Inbound marketing: guia completo
• Melhores IDEs com IA em 2026