Teste A/B de Title Tag: Como Montar um Experimento de SEO que Sobrevive à Sazonalidade

Trocar o title de uma página e ver o clique subir 12% na semana seguinte não prova nada. Pode ser o title. Pode ser o concorrente que caiu de posição, a semana que teve feriado, ou o simples fato de que aquela consulta tem picos de demanda que nada têm a ver com o texto exibido na busca. O problema de medição aqui não é falta de dado — o Search Console entrega impressão, clique e posição por página e por consulta. O problema é que quase ninguém desenha o teste de um jeito que permita separar o efeito da mudança do ruído de fundo.

Este texto descreve um desenho de experimento aplicável a um site com algumas dezenas de páginas comparáveis, o número mínimo de URLs para que o resultado signifique alguma coisa, e o cálculo que evita o erro mais comum: comparar CTR médio antes e depois.

Por que o “antes e depois” quase sempre mente

A comparação pré/pós assume que, se você não tivesse mexido em nada, a métrica teria ficado estável. Essa suposição é falsa em praticamente qualquer site com tráfego orgânico relevante. Três forças mexem no CTR sem que você toque em uma vírgula: a posição média oscila conforme concorrentes publicam e atualizam; a composição de consultas que traz impressão para a página muda de semana para semana; e o layout da própria página de resultados varia por consulta e por período — um bloco de resposta gerada, um carrossel de vídeo ou um pacote local aparecendo acima do resultado orgânico derruba o CTR de todo mundo ali, inclusive de quem melhorou o title.

O efeito da posição é o mais brutal. Subir de posição 8 para 5 costuma render um ganho de clique maior do que qualquer reescrita de title consegue produzir. Se a página que você editou também subiu de posição no período, o “antes e depois” está medindo as duas coisas somadas e atribuindo tudo ao texto. É por isso que resultados de reescrita de title reportados sem controle tendem a ser generosos demais — e é por isso que eles não se reproduzem quando a mesma equipe repete a receita em outro conjunto de páginas.

O desenho que isola o efeito: teste e controle no mesmo período

A correção é conceitualmente simples: em vez de comparar a mesma página em dois períodos, compare dois grupos de páginas no mesmo período. Você separa as URLs candidatas em dois conjuntos parecidos, altera o title só de um deles, e observa como a diferença entre os grupos evolui. Tudo que afeta o site inteiro — sazonalidade, atualização de algoritmo, mudança de layout da busca — afeta os dois grupos, e sai da conta.

Na prática, o processo tem cinco etapas.

1. Selecione um conjunto homogêneo de URLs. Páginas com a mesma função no site: fichas de produto, páginas de categoria, artigos de um mesmo pilar. Misturar tipos diferentes destrói a comparabilidade porque cada tipo tem curva de CTR própria.
2. Ordene por volume de impressão e divida alternadamente. Ordene as URLs pela impressão dos últimos 28 dias e mande a primeira para o grupo A, a segunda para o B, a terceira para A, e assim por diante. Sorteio puro tende a concentrar as páginas grandes de um lado quando a amostra é pequena; a alternância força equilíbrio de volume.
3. Registre a linha de base dos dois grupos. Quatro a seis semanas anteriores de impressão, clique e posição média, agregados por grupo e por semana. Você vai precisar dessa série para verificar se os grupos andavam juntos antes da intervenção.
4. Altere só o grupo de teste, e altere uma coisa só. Se você mudar o title e, no mesmo dia, a meta description e o H1, não vai saber o que produziu o efeito. Uma variável por rodada.
5. Deixe rodar sem tocar. Nada de “ajustar no meio porque uma página caiu”. Cada intervenção durante o teste reinicia o relógio.

Quantas URLs o experimento precisa

Aqui mora a resposta desconfortável. Testes de title tag procuram efeitos pequenos: uma reescrita boa move CTR em uma faixa de poucos pontos percentuais relativos, não dobra clique. Detectar um efeito pequeno exige amostra grande, e a maior parte dos testes que circulam como caso de sucesso simplesmente não tinha volume para detectar coisa alguma.

A regra prática que funciona bem para calibrar expectativa: quanto menor o efeito que você quer enxergar, mais rápido cresce a amostra necessária — e a relação não é linear, é quadrática. Reduzir pela metade o tamanho do efeito detectável multiplica por cerca de quatro o número de observações necessárias. Isso significa que um teste com dez ou quinze URLs só consegue detectar mudanças grosseiras, do tipo que você veria a olho nu. Para efeitos na casa de poucos pontos percentuais, o desenho precisa de dezenas de URLs por grupo e de milhares de impressões semanais em cada grupo.

Se o site não tem esse volume, a conclusão honesta é que title tag não é testável ali com rigor estatístico. Isso não impede a otimização — impede a alegação de causalidade. Nesse cenário, o caminho é aplicar boas práticas de forma consistente e medir o agregado do site ao longo de trimestres, aceitando que a atribuição fica frouxa. É melhor do que fabricar um número de “+18% de CTR” a partir de seis páginas e duas semanas.

Período mínimo e o que fazer com a sazonalidade

Duas restrições determinam a duração. A primeira é técnica: o mecanismo de busca precisa rastrear e reprocessar as páginas alteradas, e nem todas serão revisitadas no mesmo dia. Em sites com boa frequência de rastreio, isso leva alguns dias; em sites grandes com rastreio irregular, pode levar semanas. Verifique nos relatórios de rastreamento quando as URLs do grupo de teste foram efetivamente revisitadas e só comece a contar o período de medição a partir daí.

A segunda é estatística: você precisa de ciclos semanais completos. Comportamento de busca tem padrão semanal forte — consultas de trabalho concentram-se em dias úteis, consultas de consumo em fim de semana. Medir por 10 dias mistura duas semanas incompletas e introduz viés de composição. Trabalhe sempre com múltiplos inteiros de sete dias, e prefira quatro semanas de medição a duas.

Sobre sazonalidade: o desenho com grupo de controle já neutraliza a sazonalidade que afeta os dois grupos igualmente. O que ele não neutraliza é sazonalidade específica de subconjunto — se metade das páginas do grupo de teste fala de um tema com pico em determinado mês, o teste está contaminado. A verificação é simples e obrigatória: plote as quatro a seis semanas de linha de base dos dois grupos lado a lado. Se as curvas andavam paralelas antes da intervenção, a comparação é válida. Se já divergiam, refaça a divisão dos grupos.

O cálculo: por que CTR médio engana

O erro mais comum na hora de fechar a conta é calcular o CTR de cada página, tirar a média aritmética dessas taxas e comparar. Isso trata uma página com 200 impressões e uma com 40 mil como se pesassem o mesmo, e o resultado passa a ser dominado pelo ruído das páginas de cauda longa.

O certo é agregar antes de dividir: some todos os cliques do grupo, some todas as impressões do grupo, e divida uma soma pela outra. Esse é o CTR do grupo. Faça isso por semana, para teste e controle, antes e depois.

Um cuidado adicional: monitore a posição média dos dois grupos durante o teste. Se o grupo de teste ganhou posição e o controle não, você tem um confundidor dentro do próprio experimento e o resultado de CTR não é limpo. Nesse caso, a leitura honesta é reportar as duas séries — CTR e posição — e dizer que o efeito não pôde ser isolado, em vez de creditar tudo ao title.

Quando o teste não é a ferramenta certa

Há três situações em que montar o experimento custa mais do que vale. A primeira é o site pequeno, já discutida: sem volume, o teste não detecta nada e a única coisa que ele produz é confiança injustificada. A segunda é a página única de alto valor — a home, uma landing principal — onde não existe grupo de controle possível; ali o caminho é medir posição e conversão ao longo de meses e aceitar a atribuição frouxa. A terceira é quando o title atual está objetivamente quebrado: truncado no meio de uma palavra, sem menção ao termo principal, duplicado em dezenas de URLs. Não se testa a correção de um defeito — corrige-se e segue.

O experimento é a ferramenta para a zona cinzenta: quando existem duas formulações defensáveis e nenhuma razão a priori para preferir uma. É aí que a evidência do próprio site vale mais do que qualquer benchmark de mercado — e é o único terreno em que a resposta obtida é realmente sua.

Perguntas frequentes

Dá para testar title tag com o recurso de teste de URL do Search Console? Não. Aquela ferramenta mostra como a página é renderizada e indexada, não conduz experimento nem compara grupos. O desenho de teste e controle precisa ser montado fora, na planilha ou no banco onde você guarda a exportação diária.

E se o mecanismo de busca reescrever meu title na exibição? Isso acontece com frequência e é justamente parte do que o teste mede: o efeito real do title como praticado, incluindo a taxa em que ele é substituído. Se o grupo de teste teve o title reescrito em grande parte das exibições, o resultado nulo não significa que o texto não importa — significa que sua versão não foi usada. Vale amostrar manualmente algumas consultas para saber em que proporção isso ocorreu.

Quantas rodadas até ter um padrão confiável? Uma rodada dá um sinal. Três ou quatro rodadas sobre conjuntos diferentes de páginas, com o mesmo tipo de alteração, começam a dar um padrão. Um resultado único, mesmo bonito, é um ponto — não uma curva.

Posso rodar dois testes ao mesmo tempo no mesmo site? Pode, desde que os conjuntos de URLs sejam disjuntos e cada teste tenha seu próprio grupo de controle. O que não funciona é usar o mesmo grupo de controle para dois experimentos com intervenções diferentes rodando em janelas sobrepostas.