Quando o painel fica verde cedo demais
Time da Marfin4 min de leituraEsta semana o blog ganhou dois guias sobre o mesmo hábito: olhar número e tomar decisão. Um trata de teste A/B e dos falsos vencedores que aparecem quando a leitura é apressada. O outro mostra como configurar o Google Analytics 4 num blog para que os relatórios respondam alguma pergunta útil. Juntos, cobrem o caminho que vai da medição até a decisão.
Main Install
Teste A/B sem se enganar com o resultado
A cena se repete em muito time. Alguém troca a cor do botão, espera quatro dias, vê um +18% em verde, comemora no Slack e implementa. Três meses depois a conversão está no mesmo lugar. O guia desta semana parte daí e mostra onde o autoengano entra, quase sempre antes de o teste existir: hipótese vaga, métrica escolhida depois e tamanho de amostra que ninguém calculou.
A parte mais útil para quem tem pouco tráfego é a conta da amostra. Uma landing page que converte 3% precisa de cerca de 53 mil visitantes por variação para detectar uma melhora relativa de 10%. Um site com 20 mil visitas por mês nessa página levaria mais de cinco meses para concluir o teste. Com esse volume, vale testar mudanças grandes, como oferta, preço, estrutura da página e prova social, e guardar ajuste de cor e microcopy para quando o tráfego permitir.
O texto também cobre os erros de leitura: espiar o painel e parar no primeiro dia verde, caçar segmentos depois do fato, ignorar o sample ratio mismatch (quando a divisão configurada em 50/50 chega desequilibrada) e confiar no p-valor sem olhar o intervalo de confiança. No fim, compara os métodos frequentista, bayesiano e sequencial e lista as ferramentas e os preços de 2026.
Quick Patches
Quatro ajustes no GA4 antes de abrir qualquer relatório
O Google Analytics 4 costuma ser instalado no primeiro dia e abandonado no segundo. O guia lista o que configurar antes de olhar qualquer gráfico: retenção de dados em 14 meses, filtro de tráfego interno, vínculo com o Search Console e key events de blog, como cadastro na newsletter e download de material. Sem esses eventos, o GA4 fica cego para tudo que gera lead.
Com a base pronta, as métricas que acompanhamos são taxa de engajamento, tempo de engajamento por usuário ativo e taxa de key events por página de destino. Sessões e visualizações ficam como medida de alcance.
Tráfego de ChatGPT, Perplexity e Gemini no GA4
As visitas que chegam de assistentes de IA aparecem misturadas com referral e tráfego direto, e o relatório padrão não separa uma coisa da outra. O guia mostra como criar um grupo de canais personalizado para isolar esse tráfego e acompanhar quanto dele vira leitura engajada e lead.
Toolkit
PostHog, GrowthBook e Statsig para testar sem gastar
Para quem tem código e quer rodar experimento sem pagar licença, o guia de teste A/B compara três opções com plano gratuito. O PostHog junta analytics, gravação de sessão, feature flags e experimentos, com 1 milhão de requisições de flag por mês no plano grátis. O GrowthBook é open source, pode ser hospedado por conta própria e roda as análises direto no seu data warehouse, inclusive Postgres. O Statsig, comprado pela OpenAI em 2025, oferece 2 milhões de eventos por mês e já traz CUPED, teste sequencial e alerta de SRM.
Para times de marketing que preferem editor visual, o mesmo texto cobre VWO, Convert e Optimizely, com faixas de preço.
Field Note
Exit
Se for mexer em uma coisa só hoje, ative a retenção de 14 meses no GA4 e vincule o Search Console. Leva poucos minutos e protege dados que você vai querer daqui a um ano.
Ivan.
Perdeu alguma edição? Visita o arquivo da newsletter e revê edições anteriores.