A taxa de conversão geral do site passou de 1,83% para 4,16% entre dois períodos. Nenhum canal melhorou: o orgânico caiu de 6% para 5% e o pago, de 1% para 0,8%. O relatório mostra sucesso; a análise por canal mostra deterioração. A explicação tem nome, paradoxo de Simpson, e aparece com frequência em painéis de marketing que agregam dados sem olhar a composição.
Este texto mostra como o fenômeno se forma, como detectá-lo antes que a apresentação chegue à diretoria e qual relatório evita a armadilha. Os números abaixo são um exemplo construído para ilustrar a mecânica, não dados de mercado.
A mecânica: média ponderada pelo volume
A taxa de conversão geral é uma média ponderada das taxas de cada canal, e o peso de cada canal é a participação dele nas visitas. Quando o mix de visitas muda, a média muda mesmo que nenhuma taxa individual se mova. Se o canal de melhor conversão ganha peso, o total sobe; se perde peso, o total cai.
O paradoxo aparece quando a mudança de mix é grande o bastante para superar a queda dentro de cada canal. O exemplo a seguir mostra como isso acontece com dois canais.
| Canal | Período A: visitas | Período A: conversões | Período B: visitas | Período B: conversões |
|---|---|---|---|---|
| Orgânico | 200 | 12 (6,0%) | 1.000 | 50 (5,0%) |
| Pago | 1.000 | 10 (1,0%) | 250 | 2 (0,8%) |
| Total | 1.200 | 22 (1,83%) | 1.250 | 52 (4,16%) |
Como esse cenário aparece na prática
O exemplo é artificial, mas a estrutura é comum. Algumas situações em que o mix se desloca sem aviso: corte de verba de mídia paga, que reduz o volume de um canal de baixa conversão; um conteúdo orgânico que viraliza e traz muitas visitas qualificadas; uma campanha de e-mail para base própria, que converte bem e entra no total; sazonalidade que muda a proporção entre tráfego novo e recorrente.
Em todos os casos, o indicador agregado sobe ou desce por causa de um fator que não é desempenho. A equipe comemora ou se preocupa com a razão errada, e a decisão seguinte sai torta.
Detecção: quatro verificações antes de reportar
Antes da lista, um alerta sobre quando esse trabalho compensa. Rodar a decomposição em toda variação de painel é desperdício; o custo-benefício aparece quando a métrica agregada mudou de forma relevante para a decisão e quando houve qualquer evento que mexa na composição do tráfego, como campanha, corte de verba, mudança de site ou sazonalidade conhecida.
Qualquer variação relevante na taxa geral deve passar por esta sequência antes de virar conclusão.
- Decomponha por canal. Calcule a taxa em cada canal nos dois períodos. Se todas ou a maioria se movem na direção contrária à do total, há sinal de paradoxo.
- Compare a participação nas visitas. Veja quanto cada canal pesava em cada período. Deslocamentos de dez pontos percentuais ou mais merecem atenção; o corte exato depende da diferença entre as taxas dos canais.
- Calcule a taxa a mix constante. Aplique as taxas do período B aos pesos do período A. No exemplo, seriam 1.200 visitas com 200 de orgânico a 5% (10) e 1.000 de pago a 0,8% (8), totalizando 18 conversões, ou 1,5%. Esse é o número comparável ao 1,83% de A, e ele mostra queda, não alta.
- Verifique o tamanho da amostra. Com poucas conversões por canal, variações de um ou dois pontos podem ser ruído. Mostre sempre o volume absoluto ao lado da taxa.
A terceira verificação é a mais útil. Ela responde à pergunta que a diretoria de fato faz: “se o público fosse o mesmo, estaríamos convertendo mais ou menos?”.
Quando agregar é legítimo e quando não é
Há o hábito de tratar o paradoxo como erro de cálculo. Ele não é. Ambas as leituras estão aritmeticamente corretas; o que muda é a pergunta que cada uma responde. A taxa geral responde “quanto do meu tráfego total converte?”, útil para o negócio como um todo e para prever receita com o mix atual. A taxa por canal responde “cada canal está melhorando ou piorando?”, útil para decidir investimento e otimização.
O problema nasce quando a primeira é usada para responder à segunda. Quem lê “a conversão subiu” costuma entender que o site, a oferta ou a mídia melhoraram. Isso só pode ser afirmado com a decomposição na mão.
Como estruturar o relatório
Um modelo simples, que cabe em uma página, evita a maior parte dos mal-entendidos.
- Taxa geral do período, com variação em relação ao anterior.
- Tabela por canal com visitas, participação nas visitas, conversões e taxa, nos dois períodos.
- Taxa geral a mix constante, para separar efeito de desempenho do efeito de composição.
- Uma frase interpretando o resultado: “a alta decorre do aumento de participação do orgânico; dentro de cada canal, a taxa caiu”.
Se o mix mudou muito, o parágrafo final deve dizer o que provocou a mudança, quando isso for conhecido, e o que se pretende fazer. Quando a causa é desconhecida, vale dizer isso explicitamente e listar as hipóteses a testar.
Variações do mesmo problema
Outras segmentações que escondem o efeito
Canal é a segmentação mais evidente, mas não a única. Dispositivo (celular e computador), tipo de visitante (novo e recorrente), região, faixa de preço do produto e página de entrada também geram o mesmo efeito. Uma loja que passa a vender mais produtos de ticket baixo pode ver a taxa de conversão subir e a receita por visita cair. Um site que ganha muito tráfego de celular, onde a conversão costuma ser menor, pode ver a taxa total cair sem que nada tenha piorado no desktop.
Uma regra prática: sempre que uma métrica de razão (conversão, ticket médio, taxa de abertura, CTR) mudar de forma relevante, olhe a composição do denominador antes de interpretar o resultado.
Um segundo exemplo: ticket médio de duas linhas de produto
O mesmo mecanismo vale para métricas que não são taxas de conversão. Imagine uma loja virtual com duas linhas de produto: a linha A tem ticket médio de R$ 400 e a linha B, de R$ 80. No período 1, 70% dos pedidos vêm da linha A; no período 2, a promoção da linha B leva essa fatia para 20%. O ticket médio geral despenca, mesmo que o ticket de cada linha tenha subido. Quem lê apenas “ticket médio caiu” pode concluir que o cliente está gastando menos, quando na realidade ele continua gastando mais em cada linha e está comprando mais da linha barata.
O raciocínio é o mesmo da conversão: a métrica agregada é uma média ponderada, e o peso mudou. A diferença é que, aqui, a mudança de mix é uma escolha de negócio (a promoção) e não um acidente. O relatório precisa dizer isso, e a decisão pode até ser boa, desde que seja tomada com a informação certa.
Como apresentar o resultado para quem decide
Uma observação sobre confiança nos números: quando a decomposição produz canais com poucas dezenas de conversões, qualquer taxa calculada oscila bastante de um período para o outro. Antes de afirmar que um canal “piorou”, verifique se a variação cabe dentro do intervalo esperado de ruído. No exemplo numérico deste texto, os volumes são pequenos de propósito, para a aritmética ficar visível; em dados reais, a conclusão exigiria amostras maiores e, idealmente, um teste estatístico simples sobre a diferença de proporções.
Gestores não querem uma aula de estatística, querem saber se devem agir. Um formato que costuma funcionar tem três frases: o que o número geral mostra, o que a decomposição revela e qual decisão decorre disso. No primeiro exemplo, algo como: “A conversão geral subiu, mas a de cada canal caiu; o aumento vem de uma mudança de mix para o orgânico. A recomendação é investigar a queda nos dois canais antes de comemorar”.
Evite o jargão no corpo do relatório. O nome do paradoxo pode ficar em nota de rodapé para quem quiser aprofundar. O que importa é que a conclusão tenha uma ação associada: investigar, corrigir ou manter.
Para fechar o ciclo, vale registrar a decisão tomada em cada revisão: se houve mudança de mix, qual foi a causa conhecida e o que se fez com a informação. Em seis meses, esse histórico mostra com que frequência o paradoxo aparece na sua operação e em quais canais, e permite construir alertas automáticos, como um aviso quando a participação de qualquer canal varia mais do que um limite acordado entre um período e outro. O custo de montar esse alerta é baixo perto do custo de comemorar uma melhora que não existiu.
Perguntas frequentes
O paradoxo de Simpson é raro?
Não há como dar um percentual universal, e a frequência depende dos dados. Em painéis com muitos segmentos e mix instável, ele aparece com mais frequência do que se imagina, justamente porque quase ninguém confere a composição.
Qual taxa devo usar como meta?
Prefira metas por canal ou por segmento, que são acionáveis, e use a taxa geral apenas como resumo. Uma meta única de taxa geral pode ser cumprida por mudança de mix, sem melhoria real.
Ferramentas de analytics já corrigem isso?
Em geral, não. Elas mostram os números agregados e permitem segmentar, mas a decisão de decompor e de calcular a taxa a mix constante é do analista.
Preciso de teste estatístico para validar?
Se a decisão é relevante e os volumes são pequenos, sim: um intervalo de confiança para cada taxa evita atribuir significado a ruído. O paradoxo é uma questão de composição; a incerteza amostral é outra, e ambas precisam de atenção.