My Blog

Blog

  • O número por trás — “95% de confiança” no teste A/B: como o número é calculado e por que olhar todo dia o torna mentiroso

    A ferramenta de experimentação mostra a variante B com conversão 12% maior e um selo verde: “95% de confiança”. O time de marketing comemora, a mudança vai para produção e, três meses depois, a conversão do site está exatamente onde estava antes. Esse roteiro é tão comum que tem até explicação estatística conhecida. O número de 95% não estava errado; ele apenas não dizia o que o time achou que dizia, e foi lido num momento em que já não valia.

    Este texto destrincha como o número é calculado, quais são as três formas mais frequentes de ele enganar e o que fazer antes, durante e depois do teste para que a decisão se sustente numa reunião com a diretoria.

    O que os 95% realmente medem

    Na maior parte das ferramentas, o “95% de confiança” vem de um teste de hipótese frequentista. O raciocínio parte de uma suposição: não existe diferença real entre A e B. A partir dela, calcula-se a probabilidade de observar uma diferença tão grande quanto a vista, ou maior, apenas por acaso. Essa probabilidade é o p-valor. Quando ele fica abaixo de 5%, a ferramenta declara significância e, em linguagem de marketing, “95% de confiança”.

    A leitura correta, então, é: se não houvesse diferença nenhuma, um resultado tão extremo apareceria em menos de 5% das vezes. A leitura errada, e quase universal, é: há 95% de chance de B ser melhor que A. Essas frases parecem equivalentes, mas não são. A segunda depende de quantas das ideias testadas pela empresa são de fato boas, algo que o p-valor não sabe.

    5% é a taxa de falso positivo de um teste olhado uma única vez, no tamanho de amostra planejado. Qualquer prática que olhe mais vezes, compare mais métricas ou pare antes da hora aumenta essa taxa, às vezes para vários múltiplos do valor nominal.

    Há uma consequência prática disso. Se uma equipe testa ideias que, na maioria, não mudam nada, uma fração relevante dos “vencedores” declarados será falso positivo mesmo com tudo feito corretamente. Em programas de experimentação maduros, a proporção de testes com efeito real costuma ser baixa, frequentemente citada na faixa de um em cada cinco a um em cada três, embora isso varie muito por empresa e por tipo de mudança testada.

    Erro 1: olhar o resultado todo dia e parar quando ficar verde

    Esse é o erro que mais produz vencedores falsos. A conta dos 95% assume que o teste será avaliado uma vez, ao final de uma amostra definida antes de começar. Quando o analista abre o painel todo dia e encerra assim que o selo fica verde, ele está, na prática, rodando vários testes seguidos e parando no primeiro que der positivo.

    Nas primeiras centenas de visitantes, a diferença entre as variantes oscila muito. Por puro acaso, ela cruza a linha de significância em algum momento com frequência alta. Simulações clássicas mostram que, com verificações diárias ao longo de algumas semanas, a chance de declarar vencedor sem diferença real pode subir da casa dos 5% para algo como 20% a 30%, dependendo de quantas vezes se olha. O número exato varia com o desenho, mas a ordem de grandeza é essa: várias vezes o erro que o selo promete.

    Uma forma eficaz de convencer a equipe é rodar um teste A/A: as duas variantes são idênticas, e o painel é acompanhado diariamente como de costume. Em muitas empresas, o selo verde aparece em algum momento das primeiras semanas, mesmo sem diferença nenhuma entre as versões. Esse exercício tem custo baixo e costuma ser mais persuasivo numa reunião do que qualquer explicação teórica sobre taxa de erro, porque mostra o problema com os dados do próprio site e com a própria ferramenta.

    O teste A/A também serve como checagem de implementação. Se a divisão de tráfego ou a contagem de conversões apresentar diferenças sistemáticas entre duas versões iguais, o problema está na ferramenta ou na marcação, e nenhum resultado de teste real deve ser confiado até que isso seja resolvido.

    Há duas saídas legítimas. A primeira é fixar o tamanho de amostra antes e não decidir nada até atingi-lo, o que exige disciplina. A segunda é usar um método desenhado para olhar continuamente, como testes sequenciais ou abordagens com limites ajustados de significância, que várias ferramentas já oferecem como opção. O que não é legítimo é usar o teste clássico com a prática do sequencial.

    Erro 2: poder estatístico baixo e o vencedor inflado

    O segundo problema é menos discutido. Se o teste foi dimensionado com amostra pequena, ele só consegue detectar diferenças grandes. Quando o efeito real é pequeno e o teste dá significativo mesmo assim, é porque o acaso empurrou a medição para cima. Resultado: o efeito reportado é sistematicamente maior que o real. Um ganho verdadeiro de 2% pode aparecer como 12% num teste pequeno, e é justamente esse número inflado que vai para a apresentação.

    Por isso, mais importante que o selo é o planejamento de amostra. Uma aproximação útil para conversão, com 80% de poder e 5% de significância, é a seguinte: o número de visitantes por variante é aproximadamente 16 vezes p vezes (1 menos p), dividido pelo quadrado da diferença absoluta que se quer detectar, onde p é a taxa de conversão de base.

    Conversão de base Melhoria relativa a detectar Diferença absoluta Visitantes por variante (aprox.)
    3% 20% 0,6 ponto cerca de 13 mil
    3% 10% 0,3 ponto cerca de 52 mil
    3% 5% 0,15 ponto cerca de 207 mil
    10% 10% 1 ponto cerca de 14 mil

    A tabela deixa evidente o que a intuição esconde: reduzir pela metade o efeito que se quer enxergar multiplica por quatro a amostra necessária. Um site com 3% de conversão e 5 mil visitantes por dia na página testada precisaria de cerca de três semanas para detectar com segurança um ganho de 10%. Se a equipe encerra o teste em quatro dias, só consegue ver efeitos enormes, e os que ela “vê” provavelmente estão inflados.

    Erro 3: muitas métricas, muitas variantes, um vencedor

    O terceiro mecanismo é o das comparações múltiplas. Com 5% de falso positivo por comparação, olhar dez métricas independentes ao mesmo tempo dá uma chance de cerca de 40% de pelo menos uma delas parecer significativa por acaso. O mesmo vale para testes com várias variantes ou para segmentações feitas depois do resultado (“no mobile, entre usuários novos, às terças, B venceu”).

    A defesa é metodológica e simples de explicar internamente:

    1. Definir uma métrica primária antes do teste. É ela que decide; as demais são de acompanhamento ou de proteção.
    2. Declarar as métricas de proteção. Por exemplo, tempo de carregamento ou taxa de cancelamento, que não podem piorar além de um limite.
    3. Corrigir a significância quando houver várias comparações. A correção de Bonferroni, que divide os 5% pelo número de comparações, é conservadora mas fácil de aplicar e de justificar.
    4. Tratar segmentações pós-teste como hipótese, não como conclusão. Um recorte que venceu vira candidato a um teste novo, desenhado para ele.

    Como planejar um teste que se sustenta numa reunião

    Um teste defensável é aquele cujo plano existia antes do primeiro visitante. Na prática, isso cabe em um documento curto, preenchido antes de ligar o experimento:

    1. Hipótese e métrica primária. O que deve mudar, em qual métrica, e por quê.
    2. Efeito mínimo de interesse. A menor melhoria que justificaria implementar a mudança, considerando custo de desenvolvimento e manutenção.
    3. Tamanho de amostra e duração. Calculados a partir da conversão de base e do efeito mínimo, arredondados para semanas inteiras, para capturar o ciclo semanal de tráfego.
    4. Regra de parada. Data ou amostra fixa, ou método sequencial explicitamente escolhido.
    5. Checagem de qualidade. Verificar se a divisão de tráfego ficou próxima do previsto. Uma divisão de 50/50 que chega a 52/48 com muito tráfego é sinal de problema de implementação, e o resultado não deve ser usado.

    Rodar ao menos uma ou duas semanas completas é recomendável mesmo quando a amostra é atingida antes, porque o comportamento de segunda-feira não é o de sábado e porque mudanças visuais costumam ter efeito de novidade nos primeiros dias.

    O que reportar no lugar do selo verde

    Para levar o resultado à diretoria, o selo de 95% é a informação menos útil. Três dados contam a história com mais honestidade: a estimativa do efeito com intervalo de confiança (“ganho entre 1% e 9%, ponto central de 5%”), o tamanho de amostra frente ao planejado e se a regra de parada foi respeitada. Um intervalo que vai de quase zero a um ganho grande é um resultado diferente de um intervalo estreito em torno de um ganho moderado, mesmo que os dois tenham o mesmo selo.

    Também ajuda manter um histórico dos testes com o efeito previsto e o efeito observado depois da implementação. Em poucos meses, ele mostra quanto os ganhos de teste costumam encolher na prática e calibra as expectativas da equipe.

    Perguntas frequentes

    Usar um método bayesiano resolve o problema da espiada?

    Não automaticamente. Abordagens bayesianas oferecem uma leitura mais intuitiva (“probabilidade de B ser melhor”), mas parar assim que essa probabilidade cruza um limite também pode gerar decisões ruins se o critério não for definido com cuidado. A disciplina de planejamento continua necessária.

    Por que não usar 90% de confiança e acelerar os testes?

    É uma escolha legítima quando o custo de um falso positivo é baixo e a mudança é fácil de reverter. O importante é que ela seja feita antes do teste e registrada, e não aplicada depois porque o resultado ficou em 92%.

    Quanto tráfego é pouco demais para testar?

    Se o cálculo de amostra aponta para meses de duração mesmo para efeitos grandes, o teste A/B provavelmente não é a ferramenta certa. Nesses casos, pesquisa qualitativa, testes de usabilidade e análise de comportamento costumam dar mais retorno por semana investida.

  • Como medir se a sua marca aparece em respostas de IA: um método com amostra, frequência e viés declarados

    A pergunta que chega a muitos times de marketing é direta: aparecemos quando alguém pergunta a um assistente de IA qual ferramenta, serviço ou fornecedor escolher? Não existe um painel oficial que responda isso, e as respostas variam entre execuções, entre modelos e entre usuários. Ainda assim, dá para medir de forma defensável, desde que o método seja declarado e o número seja apresentado como estimativa.

    O que segue é um roteiro em cinco etapas. Ele não promete um índice universal, e sim uma métrica interna comparável de um mês para o outro.

    1. Defina o que conta como aparecer

    Antes de coletar qualquer resposta, escreva a regra de contagem. Há ao menos três níveis diferentes: a marca é citada pelo nome, é recomendada explicitamente, ou aparece como fonte ou link. Misturá-los em um único número produz um índice sem significado.

    Métrica central: taxa de menção. Proporção de respostas, em uma amostra definida de perguntas, que citam a marca pelo nome. Calcule e relate separadamente a taxa de recomendação (a marca é indicada como boa opção) e a taxa de citação como fonte.

    Anote também a posição, se houver lista, e o contexto: menção positiva, neutra ou de ressalva. Uma menção que diz “não recomendado para pequenas empresas” conta como presença, mas não como vitória.

    2. Monte a amostra de perguntas a partir de demanda real

    A amostra é o ponto em que a maioria das medições perde validade. Perguntas inventadas pela equipe tendem a repetir o vocabulário da empresa, não o do cliente. Colete as perguntas de fontes observáveis: termos de busca do Search Console, perguntas feitas ao atendimento, conversas de vendas e fóruns do setor.

    1. Liste de 30 a 50 perguntas que um comprador faria antes de decidir, em linguagem natural.
    2. Classifique cada uma por etapa: descoberta, comparação ou decisão.
    3. Inclua variações da mesma pergunta, porque pequenas mudanças de redação alteram a resposta.
    4. Congele a lista. Mudar perguntas de um mês para o outro quebra a comparação.

    O tamanho da amostra é um compromisso. Com poucas perguntas, uma única resposta diferente muda o percentual de forma enorme; com muitas, o custo de coleta sobe. Como ponto de partida prático, 30 perguntas já permitem ver tendência, mas não precisão de ponto percentual.

    3. Repita cada pergunta, porque a resposta não é única

    Modelos de linguagem podem responder de formas diferentes à mesma pergunta em execuções diferentes. Rodar uma vez e anotar o resultado é tratar uma amostra de tamanho um como verdade. O procedimento mais seguro é repetir cada pergunta várias vezes, em sessões novas, e registrar a frequência com que a marca aparece, e não apenas se apareceu.

    Defina também a configuração: qual assistente, com ou sem busca na web, em que idioma e em que região. Respostas com acesso à web citam fontes que mudam de semana para semana, e as sem acesso dependem do conhecimento do treinamento, mais estável e mais defasado. Trate os dois como medições diferentes e não some os resultados.

    4. Onde o número engana

    Há quatro fontes de distorção que vale declarar ao apresentar o resultado:

    • Viés de personalização: contas logadas, com histórico, podem receber respostas distintas das de uma sessão limpa.
    • Viés de formulação: perguntas que citam a categoria que você ocupa favorecem quem já é conhecido nela.
    • Deriva temporal: uma variação de um mês pode ser mudança do modelo, não efeito do seu trabalho.
    • Confusão de marca: nomes genéricos podem ser contados por engano; valide manualmente uma parte das menções.

    Para reduzir o risco de leitura errada, compare sempre com um grupo de referência: dois ou três concorrentes medidos com a mesma amostra. Uma taxa de 18% de menção isolada diz pouco; 18% contra 45% do líder e 6% do terceiro conta uma história.

    Etapa de medição O que registrar Risco principal
    Amostra de perguntas Origem, etapa do funil, redação Vocabulário da empresa em vez do cliente
    Coleta Assistente, data, idioma, uso de busca Misturar configurações diferentes
    Contagem Menção, recomendação, fonte, contexto Contar menção negativa como vitória
    Relatório Taxa, intervalo, concorrentes de referência Apresentar número sem margem de variação

    Um exemplo de leitura, com números hipotéticos

    Suponha uma empresa de software de gestão financeira para pequenos negócios. A equipe montou 40 perguntas de comparação e decisão, rodou cada uma cinco vezes, em sessões novas, com o mesmo assistente e sem busca na web, e contou as menções pelo nome. Foram 200 respostas. A marca apareceu em 34, o que dá taxa de menção de 17%. O principal concorrente apareceu em 98 (49%), e o terceiro em 12 (6%).

    Com 200 respostas e uma proporção de 17%, a margem de erro estatística aproximada fica em torno de 5 pontos percentuais para mais ou menos, e isso presume respostas independentes, o que não é exato: as cinco repetições da mesma pergunta se parecem entre si. Por isso o relatório deve falar em “entre 12% e 22%” e deixar claro que a comparação mês a mês só é confiável para mudanças maiores que essa faixa. Uma alta de 17% para 19% é ruído; uma alta de 17% para 30% merece investigação.

    Ao olhar por tipo de pergunta, a equipe nota que a marca aparece em 31% das perguntas de descoberta e em apenas 4% das de comparação direta. Esse resultado muda a decisão: o problema não é reconhecimento, e sim a ausência de material comparativo que o setor cite. A ação, então, vai para conteúdo de comparação em fontes que os compradores consultam, e a próxima medição verifica se essa taxa se mexeu.

    Passo extra: valide uma amostra das menções manualmente

    Mesmo com a contagem automatizada, leia por conta própria 10% das respostas em que a marca foi detectada e 10% das que não foi. Isso mostra se há falsos positivos, como um nome comum confundido com a marca, e falsos negativos, como grafias alternativas. Registre a taxa de erro encontrada e a inclua no relatório como nota de método.

    Esse cuidado custa pouco e protege contra o pior cenário: apresentar uma melhora que era, na verdade, uma mudança de regra de contagem.

    Registre a versão de tudo, para poder voltar ao número

    Uma medição que não pode ser reproduzida perde valor em três meses, quando ninguém mais lembra como foi feita. Guarde, em uma planilha ou repositório simples, a lista de perguntas com data de congelamento, o assistente e a versão disponível na ocasião, o idioma, a região, o uso ou não de busca e o texto bruto de cada resposta. Quando o modelo for atualizado, rode uma rodada paralela com a configuração antiga e a nova por um mês, para separar mudança do modelo de mudança da sua presença.

    Esse registro também protege você numa conversa difícil: se um diretor perguntar por que o número caiu, existe como mostrar o que mudou no método e o que mudou de fato. Sem ele, a explicação vira opinião, e a medição perde a função de dar base para decisão.

    Por fim, defina quem é o dono da métrica. Quando ninguém responde por ela, a coleta falha no segundo mês e o painel fica desatualizado em silêncio.

    Se a equipe for crescer, automatize a coleta só depois de o processo manual estar estável: automatizar um método confuso apenas acelera o erro.

    Revise a lista de perguntas a cada trimestre, nunca no meio do mês, e registre cada alteração com a data e o motivo, para que a série histórica continue interpretável.

    Documente também o que ficou fora da medição, como idiomas e assistentes não cobertos, para que ninguém extrapole o número.

    5. Como levar o número para dentro da empresa

    Na hora de apresentar, comece pelo método e pelo tamanho da amostra, depois pelo número. Diga que o resultado é uma estimativa com variação entre execuções, informe os concorrentes de referência e indique o que será medido no mês seguinte. Gestores aceitam bem um número que vem acompanhado da própria incerteza, e desconfiam de um que vem limpo demais.

    Evite relacionar a taxa de menção diretamente a receita sem dados que sustentem essa ligação. Se existe tráfego referido por assistentes no analytics, vale segmentá-lo e acompanhá-lo ao lado da taxa; se não existe, diga que a conexão com vendas ainda não foi medida.

    O que fazer com a medição também deve ser definido de antemão. Se a taxa de menção é baixa em perguntas de comparação, o trabalho é de conteúdo comparativo e de presença em fontes que o setor consulta; se é baixa em descoberta, o problema é de reconhecimento de marca. Medir sem uma hipótese de ação costuma gerar relatório e nenhuma decisão.

    Perguntas frequentes

    Quantas execuções por pergunta são suficientes?

    Não há número universal. Três a cinco execuções já mostram se o resultado é estável ou muito variável. Se a marca aparece em uma de cinco, trate a pergunta como instável, e não como presença consolidada.

    Posso usar uma ferramenta paga em vez de coletar manualmente?

    Pode, mas peça à ferramenta a descrição do método: quais assistentes, que perguntas, quantas repetições. Se ela não explica, o número não é comparável ao seu e deve ser tratado como indicativo.

    Isso substitui o monitoramento de SEO tradicional?

    Não. É uma medição complementar. Posição em buscas e menção em respostas de IA seguem lógicas diferentes, e o seu time deve acompanhar as duas separadamente.

    Qual taxa de menção é boa?

    Depende do mercado e dos concorrentes. Sem um grupo de referência medido da mesma forma, qualquer percentual é apenas um número solto.

    Comece pela lista de 30 perguntas e pela regra de contagem escrita. Com isso congelado, a primeira medição já serve de linha de base para as seguintes.

  • Paradoxo de Simpson na taxa de conversão: quando o número geral sobe e todos os canais pioram

    A taxa de conversão geral do site passou de 1,83% para 4,16% entre dois períodos. Nenhum canal melhorou: o orgânico caiu de 6% para 5% e o pago, de 1% para 0,8%. O relatório mostra sucesso; a análise por canal mostra deterioração. A explicação tem nome, paradoxo de Simpson, e aparece com frequência em painéis de marketing que agregam dados sem olhar a composição.

    Este texto mostra como o fenômeno se forma, como detectá-lo antes que a apresentação chegue à diretoria e qual relatório evita a armadilha. Os números abaixo são um exemplo construído para ilustrar a mecânica, não dados de mercado.

    A mecânica: média ponderada pelo volume

    A taxa de conversão geral é uma média ponderada das taxas de cada canal, e o peso de cada canal é a participação dele nas visitas. Quando o mix de visitas muda, a média muda mesmo que nenhuma taxa individual se mova. Se o canal de melhor conversão ganha peso, o total sobe; se perde peso, o total cai.

    O paradoxo aparece quando a mudança de mix é grande o bastante para superar a queda dentro de cada canal. O exemplo a seguir mostra como isso acontece com dois canais.

    Canal Período A: visitas Período A: conversões Período B: visitas Período B: conversões
    Orgânico 200 12 (6,0%) 1.000 50 (5,0%)
    Pago 1.000 10 (1,0%) 250 2 (0,8%)
    Total 1.200 22 (1,83%) 1.250 52 (4,16%)
    Número-chave: a taxa geral subiu 2,3 pontos percentuais enquanto as duas taxas por canal caíram. A mudança veio inteira do mix: o orgânico foi de 17% para 80% das visitas.

    Como esse cenário aparece na prática

    O exemplo é artificial, mas a estrutura é comum. Algumas situações em que o mix se desloca sem aviso: corte de verba de mídia paga, que reduz o volume de um canal de baixa conversão; um conteúdo orgânico que viraliza e traz muitas visitas qualificadas; uma campanha de e-mail para base própria, que converte bem e entra no total; sazonalidade que muda a proporção entre tráfego novo e recorrente.

    Em todos os casos, o indicador agregado sobe ou desce por causa de um fator que não é desempenho. A equipe comemora ou se preocupa com a razão errada, e a decisão seguinte sai torta.

    Detecção: quatro verificações antes de reportar

    Antes da lista, um alerta sobre quando esse trabalho compensa. Rodar a decomposição em toda variação de painel é desperdício; o custo-benefício aparece quando a métrica agregada mudou de forma relevante para a decisão e quando houve qualquer evento que mexa na composição do tráfego, como campanha, corte de verba, mudança de site ou sazonalidade conhecida.

    Qualquer variação relevante na taxa geral deve passar por esta sequência antes de virar conclusão.

    1. Decomponha por canal. Calcule a taxa em cada canal nos dois períodos. Se todas ou a maioria se movem na direção contrária à do total, há sinal de paradoxo.
    2. Compare a participação nas visitas. Veja quanto cada canal pesava em cada período. Deslocamentos de dez pontos percentuais ou mais merecem atenção; o corte exato depende da diferença entre as taxas dos canais.
    3. Calcule a taxa a mix constante. Aplique as taxas do período B aos pesos do período A. No exemplo, seriam 1.200 visitas com 200 de orgânico a 5% (10) e 1.000 de pago a 0,8% (8), totalizando 18 conversões, ou 1,5%. Esse é o número comparável ao 1,83% de A, e ele mostra queda, não alta.
    4. Verifique o tamanho da amostra. Com poucas conversões por canal, variações de um ou dois pontos podem ser ruído. Mostre sempre o volume absoluto ao lado da taxa.

    A terceira verificação é a mais útil. Ela responde à pergunta que a diretoria de fato faz: “se o público fosse o mesmo, estaríamos convertendo mais ou menos?”.

    Quando agregar é legítimo e quando não é

    Há o hábito de tratar o paradoxo como erro de cálculo. Ele não é. Ambas as leituras estão aritmeticamente corretas; o que muda é a pergunta que cada uma responde. A taxa geral responde “quanto do meu tráfego total converte?”, útil para o negócio como um todo e para prever receita com o mix atual. A taxa por canal responde “cada canal está melhorando ou piorando?”, útil para decidir investimento e otimização.

    O problema nasce quando a primeira é usada para responder à segunda. Quem lê “a conversão subiu” costuma entender que o site, a oferta ou a mídia melhoraram. Isso só pode ser afirmado com a decomposição na mão.

    Como estruturar o relatório

    Um modelo simples, que cabe em uma página, evita a maior parte dos mal-entendidos.

    1. Taxa geral do período, com variação em relação ao anterior.
    2. Tabela por canal com visitas, participação nas visitas, conversões e taxa, nos dois períodos.
    3. Taxa geral a mix constante, para separar efeito de desempenho do efeito de composição.
    4. Uma frase interpretando o resultado: “a alta decorre do aumento de participação do orgânico; dentro de cada canal, a taxa caiu”.

    Se o mix mudou muito, o parágrafo final deve dizer o que provocou a mudança, quando isso for conhecido, e o que se pretende fazer. Quando a causa é desconhecida, vale dizer isso explicitamente e listar as hipóteses a testar.

    Variações do mesmo problema

    Outras segmentações que escondem o efeito

    Canal é a segmentação mais evidente, mas não a única. Dispositivo (celular e computador), tipo de visitante (novo e recorrente), região, faixa de preço do produto e página de entrada também geram o mesmo efeito. Uma loja que passa a vender mais produtos de ticket baixo pode ver a taxa de conversão subir e a receita por visita cair. Um site que ganha muito tráfego de celular, onde a conversão costuma ser menor, pode ver a taxa total cair sem que nada tenha piorado no desktop.

    Uma regra prática: sempre que uma métrica de razão (conversão, ticket médio, taxa de abertura, CTR) mudar de forma relevante, olhe a composição do denominador antes de interpretar o resultado.

    Um segundo exemplo: ticket médio de duas linhas de produto

    O mesmo mecanismo vale para métricas que não são taxas de conversão. Imagine uma loja virtual com duas linhas de produto: a linha A tem ticket médio de R$ 400 e a linha B, de R$ 80. No período 1, 70% dos pedidos vêm da linha A; no período 2, a promoção da linha B leva essa fatia para 20%. O ticket médio geral despenca, mesmo que o ticket de cada linha tenha subido. Quem lê apenas “ticket médio caiu” pode concluir que o cliente está gastando menos, quando na realidade ele continua gastando mais em cada linha e está comprando mais da linha barata.

    O raciocínio é o mesmo da conversão: a métrica agregada é uma média ponderada, e o peso mudou. A diferença é que, aqui, a mudança de mix é uma escolha de negócio (a promoção) e não um acidente. O relatório precisa dizer isso, e a decisão pode até ser boa, desde que seja tomada com a informação certa.

    Como apresentar o resultado para quem decide

    Uma observação sobre confiança nos números: quando a decomposição produz canais com poucas dezenas de conversões, qualquer taxa calculada oscila bastante de um período para o outro. Antes de afirmar que um canal “piorou”, verifique se a variação cabe dentro do intervalo esperado de ruído. No exemplo numérico deste texto, os volumes são pequenos de propósito, para a aritmética ficar visível; em dados reais, a conclusão exigiria amostras maiores e, idealmente, um teste estatístico simples sobre a diferença de proporções.

    Gestores não querem uma aula de estatística, querem saber se devem agir. Um formato que costuma funcionar tem três frases: o que o número geral mostra, o que a decomposição revela e qual decisão decorre disso. No primeiro exemplo, algo como: “A conversão geral subiu, mas a de cada canal caiu; o aumento vem de uma mudança de mix para o orgânico. A recomendação é investigar a queda nos dois canais antes de comemorar”.

    Evite o jargão no corpo do relatório. O nome do paradoxo pode ficar em nota de rodapé para quem quiser aprofundar. O que importa é que a conclusão tenha uma ação associada: investigar, corrigir ou manter.

    Para fechar o ciclo, vale registrar a decisão tomada em cada revisão: se houve mudança de mix, qual foi a causa conhecida e o que se fez com a informação. Em seis meses, esse histórico mostra com que frequência o paradoxo aparece na sua operação e em quais canais, e permite construir alertas automáticos, como um aviso quando a participação de qualquer canal varia mais do que um limite acordado entre um período e outro. O custo de montar esse alerta é baixo perto do custo de comemorar uma melhora que não existiu.

    Perguntas frequentes

    O paradoxo de Simpson é raro?

    Não há como dar um percentual universal, e a frequência depende dos dados. Em painéis com muitos segmentos e mix instável, ele aparece com mais frequência do que se imagina, justamente porque quase ninguém confere a composição.

    Qual taxa devo usar como meta?

    Prefira metas por canal ou por segmento, que são acionáveis, e use a taxa geral apenas como resumo. Uma meta única de taxa geral pode ser cumprida por mudança de mix, sem melhoria real.

    Ferramentas de analytics já corrigem isso?

    Em geral, não. Elas mostram os números agregados e permitem segmentar, mas a decisão de decompor e de calcular a taxa a mix constante é do analista.

    Preciso de teste estatístico para validar?

    Se a decisão é relevante e os volumes são pequenos, sim: um intervalo de confiança para cada taxa evita atribuir significado a ruído. O paradoxo é uma questão de composição; a incerteza amostral é outra, e ambas precisam de atenção.

  • GA4 e BigQuery mostram números diferentes: roteiro de reconciliação em cinco etapas

    O relatório do GA4 mostra 12.400 sessões na semana. A consulta no BigQuery sobre os dados exportados da mesma propriedade devolve 13.100. O analista que apresenta o número à diretoria precisa decidir qual deles é “o certo”, e a resposta honesta é que nenhum dos dois está errado. Eles respondem a perguntas ligeiramente diferentes, e a diferença tem causas conhecidas e verificáveis. Este roteiro mostra como reconciliar os dois em cinco etapas, sem prometer que as contas vão fechar exatamente.

    Por que as duas fontes não coincidem por construção

    A interface do GA4 e a exportação para o BigQuery partem do mesmo fluxo de eventos, mas passam por processamentos diferentes. A interface aplica regras de apresentação, como limites de limiar para proteger privacidade, amostragem em explorações grandes e, em algumas configurações, modelagem de dados quando há consentimento limitado. A exportação entrega eventos mais próximos do bruto, e as métricas são calculadas por quem consulta, com a lógica escrita na consulta.

    Consequência prática: uma diferença de poucos pontos percentuais entre as duas fontes é esperada, e uma diferença grande indica problema de configuração ou de consulta. Não existe um número padrão de tolerância aceito pelo mercado; a faixa aceitável depende do volume, do tipo de propriedade e do uso do dado, e deve ser definida por você a partir da sua própria série histórica.

    Número-chave: a diferença percentual entre interface e BigQuery, medida semana a semana. Uma diferença estável é característica da configuração. Uma diferença que varia é sinal de problema.

    Etapa 1: alinhar a definição da métrica

    A maior parte das divergências nasce na consulta. Sessão no GA4 é um conceito construído, não um campo pronto: a exportação traz um identificador de sessão e os eventos, e quem consulta precisa combinar usuário e sessão para contar. Quem conta sessões com a mesma fórmula da interface chega perto; quem usa uma aproximação, como contar eventos de início de sessão, pode se afastar.

    1. Documente a fórmula. Escreva como a interface define a métrica e como você a reproduz na consulta, em uma frase cada.
    2. Use o mesmo fuso. A interface usa o fuso configurado na propriedade; a exportação armazena a data em formato próprio e a consulta pode usar outro fuso.
    3. Use o mesmo conjunto de dados. Confira se a consulta cobre os mesmos dias e se inclui as mesmas tabelas, diárias e intradiárias, quando aplicável.

    Etapa 2: comparar em um recorte simples

    Não comece pelo relatório inteiro. Escolha um dia sem campanha, sem lançamento e sem mudança de site, e compare uma única métrica, por exemplo, número de eventos de visualização de página. Eventos são mais fáceis de conciliar que sessões e usuários, porque não dependem da combinação de identificadores.

    Se a contagem de eventos coincide, o problema está na definição de sessão ou de usuário. Se não coincide, o problema está antes: na coleta, no filtro de tráfego interno ou no período processado.

    Etapa 3: investigar os mecanismos conhecidos

    Com o recorte simples em mãos, passe pelos mecanismos que mais explicam as diferenças, nesta ordem de probabilidade.

    1. Limiares de privacidade. Em algumas configurações, a interface oculta linhas com poucos usuários. A exportação não aplica esse filtro, o que aumenta o total do BigQuery.
    2. Amostragem. Explorações que consultam grande volume de eventos podem ser amostradas, e o limite depende do tipo de propriedade. Confira o limite atual na documentação do Google, porque ele muda. Relatórios padrão são em geral dispensados da amostragem.
    3. Modelagem por consentimento. Se a propriedade usa modo de consentimento, a interface pode incluir dados modelados que não existem na exportação.
    4. Filtros de dados. Filtros de tráfego interno ou de desenvolvedor aplicados na interface nem sempre se refletem na exportação da mesma forma. Confira a configuração do filtro e o estado dele.
    5. Latência. Os dados do dia corrente na exportação diária chegam com atraso. Comparações de ontem para hoje trazem diferenças que desaparecem dias depois.

    Etapa 4: calcular e acompanhar a diferença

    Quando as definições estiverem alinhadas, calcule a diferença percentual semanal entre as duas fontes ao longo de pelo menos oito semanas. Registre o valor em uma planilha simples. A pergunta não é se a diferença é zero, e sim se ela é estável.

    Padrão observado O que costuma indicar
    Diferença pequena e estável Efeito esperado de privacidade, modelagem e latência
    Diferença que cresce com o tempo Mudança de configuração, de consentimento ou de filtro
    Picos isolados Campanha, amostragem em exploração grande ou falha de coleta
    BigQuery abaixo da interface Modelagem, atraso na exportação ou consulta com filtro a mais

    Um exemplo numérico de reconciliação (hipotético)

    Considere uma propriedade de e-commerce com valores inventados, apenas para mostrar o raciocínio. Em uma semana, a interface informa 12.400 sessões e a consulta do BigQuery devolve 13.100, uma diferença de 700 sessões, ou cerca de 5,6% sobre o valor da interface.

    O analista aplica o roteiro. Na etapa 2, compara eventos de visualização de página em um dia comum: a interface mostra 41.800 e o BigQuery 41.790. A diferença é de dez eventos, desprezível, o que indica que a coleta está alinhada e o problema está na definição de sessão. Na etapa 1, ele descobre que a consulta contava sessões distintas por identificador de sessão isolado, sem combinar com o identificador do usuário. Como o identificador de sessão pode se repetir entre usuários diferentes, a contagem ficava em desacordo. Corrigida a consulta, a diferença cai para 1,8%.

    O resíduo de 1,8% é então atribuído, com o apoio da etapa 3, ao efeito de limiares e de latência, e não a erro. O analista registra esse percentual, acompanha por oito semanas e verifica que ele oscila entre 1,5% e 2,2%. Resultado: a diferença está estável, e a explicação para a diretoria fica em uma frase. Repare que o ganho veio de corrigir a consulta, não de mexer na configuração do GA4, o que é comum.

    Os erros que mais consomem tempo

    Alguns equívocos se repetem em quase todo projeto de reconciliação, e conhecê-los economiza dias.

    1. Comparar períodos de fechamentos diferentes. Dados recentes ainda estão sendo processados; compare períodos fechados há pelo menos dois dias.
    2. Misturar fusos. Um dia que termina às 21h em um fuso e à meia-noite em outro move eventos de um dia para o outro e distorce a comparação diária.
    3. Ignorar o filtro de tráfego interno. Se a equipe navega no site durante testes, a diferença entre fontes pode mudar de acordo com quando o filtro foi ativado.
    4. Usar exploração para conciliar. Explorações amostradas são a pior base de comparação; use relatórios padrão ou consulte um período menor.
    5. Confiar em memória. Mudanças de configuração, de tag ou de consentimento passam despercebidas. Mantenha um registro datado de qualquer alteração na propriedade.

    O último item merece ênfase. A maior parte das discrepâncias “misteriosas” se explica por uma mudança feita semanas antes por alguém que esqueceu de avisar. Um histórico simples, com data e responsável, resolve metade dos casos.

    Etapa 5: escolher a fonte da verdade por uso

    Depois da reconciliação, defina qual fonte responde a cada tipo de pergunta, e escreva isso. Para acompanhamento rápido de tendência, a interface é suficiente e mais ágil. Para análise que exige junção com dados de CRM, de vendas ou de custos, o BigQuery é a escolha, porque permite controle total da lógica. Para relatórios de diretoria, escolha uma única fonte e mantenha-a, mesmo que o número varie um pouco em relação ao que o analista vê na interface.

    O que importa na prática é que a empresa não alterne de fonte conforme o resultado agrade mais. Com uma fonte definida e um registro da diferença histórica, a explicação para uma divergência passa a levar minutos, e a discussão sai da pergunta “qual número está certo” e vai para “o que mudou”.

    Como explicar a diferença para quem decide

    Diretoria e clientes não querem uma aula sobre exportação de eventos; querem saber se podem confiar no número. Uma explicação eficaz cabe em três frases: qual fonte o relatório usa e por quê, qual é a diferença habitual entre as fontes e a causa principal dela, e o que seria sinal de alerta. Por exemplo: “Os relatórios usam o BigQuery porque cruzam com vendas. A interface do GA4 costuma mostrar entre 1% e 3% a menos, por privacidade e latência. Se passar de 5%, investigamos.”

    Essa formulação transforma uma dúvida recorrente em um acordo explícito, com um critério de investigação. Ela também protege o analista: quando o número muda, a conversa gira em torno do critério combinado, não da reputação de quem calculou. Os percentuais do exemplo são ilustrativos; a faixa da sua empresa deve sair da sua própria série histórica, observada por algumas semanas antes de ser formalizada.

    Revise o critério a cada trimestre ou sempre que houver mudança relevante no site, nas tags ou no consentimento. Um critério velho dá falsa segurança.

    Perguntas frequentes

    A exportação para o BigQuery é gratuita?

    A ativação da exportação diária é gratuita para propriedades padrão, e o custo vem do armazenamento e das consultas no BigQuery. Os limites e as condições mudam, então vale consultar a documentação atual do Google.

    Qual fonte devo usar para atribuição de conversão?

    Depende do objetivo. Se a atribuição precisa seguir o modelo da interface, use a interface. Se você quer testar outros modelos ou cruzar com dados de CRM, use o BigQuery, sabendo que os números vão diferir.

    É possível zerar a diferença?

    Em geral, não, e tentar costuma consumir mais tempo do que o ganho de precisão justifica. O objetivo realista é entender a diferença e mantê-la estável.

  • Dashboard de BI que ninguém abre: framework de cinco passos para descobrir se o problema é o painel ou o pedido

    Qual é a taxa de uso do dashboard que sua equipe de BI entregou no último trimestre? Se a resposta é “não sei”, o problema já começou: sem medir o uso, não há como distinguir um painel que decide coisas de um painel que apenas existe. Em muitas empresas, o acervo de dashboards cresce a cada pedido, enquanto as pessoas continuam a tomar decisões numa planilha paralela. O sintoma é conhecido, mas a causa raramente é técnica. Quase sempre está na forma como o painel foi pedido e desenhado.

    O que segue é um framework de cinco passos para diagnosticar e corrigir um dashboard abandonado. Ele não depende de ferramenta, serve para Power BI, Looker, Metabase ou planilha, e foi organizado para que cada passo produza algo verificável.

    Passo 1: medir o uso antes de culpar o painel

    A primeira etapa é descobrir quanto ele realmente é aberto, por quem e com que frequência. A maioria das plataformas de BI registra acessos por usuário e por relatório, em um log ou em um painel administrativo. Extraia os últimos 90 dias e separe três números: usuários únicos que abriram o painel, número de aberturas por usuário e quantos desses usuários são o público que o painel foi feito para atender.

    Número-chave: usuários ativos do público-alvo dividido pelo total do público-alvo. Não existe limite universal para essa razão, e o valor aceitável depende do tipo de painel, mas um painel executivo aberto por uma pequena fração dos executivos que deveriam usá-lo merece investigação.

    Esse número é uma estimativa de adoção, não de qualidade. Um painel pode ser aberto toda semana e mesmo assim não mudar nenhuma decisão. Mas se ninguém abre, a discussão sobre cores e filtros é prematura.

    Vale cruzar o uso com o calendário. Se o painel é aberto no primeiro dia útil do mês e nunca mais, ele provavelmente serve a um fechamento, e não a uma gestão contínua. Isso muda a pergunta: em vez de “como aumentar o uso”, a questão passa a ser “o painel faz o que precisa fazer naquele dia?”. Também observe quem abre. Quando quase todos os acessos vêm do time de dados que construiu o painel, o dado de uso está contaminado, e o número de usuários reais do público-alvo é menor do que parece.

    Por fim, anote quanto tempo cada acesso dura. Sessões de alguns segundos, repetidas, normalmente indicam que a pessoa abriu, não encontrou o que procurava e saiu. Já sessões longas e frequentes de poucas pessoas indicam um painel útil para um grupo pequeno, o que pode ser exatamente o desejado ou sinal de que o desenho só serve a quem já conhece os dados.

    Passo 2: identificar qual decisão o painel deveria sustentar

    Dashboards abandonados costumam ter um traço em comum: foram pedidos como “quero visibilidade do comercial”, e não como “preciso decidir se contrato mais um vendedor”. O primeiro pedido gera dezenas de métricas razoáveis e nenhuma ação. O segundo gera três ou quatro números e uma regra de leitura.

    Para cada painel, escreva uma frase no formato: “Quando ___ acontece, a pessoa ___ faz ___”. Se não for possível preencher, o painel é informativo, não decisório. Isso é legítimo, mas precisa ser tratado como tal, com expectativas diferentes de manutenção e de revisão.

    O exercício mais produtivo é fazê-lo com o usuário, não para ele. Sente com duas ou três pessoas do público-alvo e pergunte qual foi a última decisão que tomaram com base em dados e onde foram buscar a informação. Se a resposta é uma planilha pessoal, um e-mail do analista ou uma conversa no corredor, o painel perdeu para uma alternativa mais rápida, e vale entender por quê. Frequentemente o motivo é prosaico: o filtro necessário não existia, o dado chegava um dia depois ou o número não tinha o recorte por região que a pessoa precisava.

    Anote essas respostas literalmente. Elas viram os critérios de aceitação da nova versão e evitam o erro de redesenhar o painel com base na opinião de quem o construiu.

    Passo 3: auditar as métricas por pergunta, não por disponibilidade

    A tentação de colocar no painel tudo o que o banco de dados permite é a segunda causa mais comum de abandono. Para cada indicador, verifique:

    1. Existe uma ação associada? Se a métrica sobe ou desce, alguém sabe o que fazer.
    2. A definição está documentada? Receita bruta, líquida e recorrente costumam coexistir com o mesmo nome em áreas diferentes.
    3. O dado está atualizado na frequência da decisão? Painel diário com dado semanal gera desconfiança.
    4. Há um valor de referência? Sem meta, histórico ou comparativo, o número isolado não diz se está bom ou ruim.
    5. Quem é o dono do número? Quando uma métrica não tem dono, ninguém a corrige.

    Remova ou mova para uma página de apoio o que não passar em pelo menos três desses critérios. Um painel com cinco métricas que passam nos cinco costuma ser mais usado que um com trinta.

    Atenção a um problema sutil: métricas de vaidade podem passar em quase todos os critérios, porque têm dono, têm meta e são atualizadas, e mesmo assim não mudam nenhuma decisão. Exemplo clássico, número de visitantes de um site sem ligação com a receita. O teste final é perguntar o que aconteceria se aquela métrica sumisse do painel amanhã. Se a resposta é “ninguém notaria”, ela não pertence a um painel de decisão. Se a resposta é “a reunião de segunda ficaria cega”, ela deve ficar.

    Passo 4: testar a confiança nos dados

    Parte do abandono vem de uma pequena divergência: o número do painel não bate com o da planilha do financeiro, e a pessoa desiste de investigar. Confronte três a cinco indicadores centrais com a fonte oficial da área e documente as diferenças e as causas, que costumam ser filtro de data, regra de cancelamento, moeda ou fuso horário.

    Sintoma Causa provável Como verificar
    Número diferente da planilha oficial Definição ou filtro divergente Comparar a mesma métrica, no mesmo período, com a regra de cálculo da área
    Valores que mudam no dia seguinte Atualização tardia de fontes Registrar o horário de carga e comparar com a data do evento
    Painel lento Consulta pesada ou excesso de visuais Medir o tempo de carga por visual e remover os mais caros
    Usuários pedindo exportação Falta uma visão detalhada Perguntar o que fazem com o arquivo exportado

    O resultado desse passo é uma lista curta de discrepâncias explicadas. Mesmo quando o painel está certo, mostrar a reconciliação aumenta a confiança. Quando está errado, melhor descobrir antes que o diretor descubra.

    Passo 5: redesenhar para uma leitura de trinta segundos

    Só depois dos quatro passos anteriores faz sentido mexer no visual. O princípio é que o usuário precise de poucos segundos para saber se está tudo bem ou se algo exige ação. Isso significa colocar o indicador principal no topo, com comparação contra meta ou período anterior, seguido de no máximo dois ou três gráficos de apoio. Detalhes e filtros avançados ficam em páginas secundárias.

    Evite gráficos que exigem interpretação longa, como pizza com muitas fatias ou eixo duplo sem rótulo. Rótulos diretos, ordenação por valor e cores usadas com critério (por exemplo, uma cor de destaque para o que exige atenção) reduzem o esforço de leitura. Teste com duas pessoas do público-alvo: peça que descrevam em voz alta o que entendem em meio minuto. As dúvidas delas indicam o que ajustar.

    Atenção também ao contexto de leitura. Um painel consultado no celular, a caminho de uma reunião, precisa de poucos elementos e fontes legíveis. Um painel projetado numa sala suporta mais detalhe, mas exige contraste alto e números grandes. Pergunte onde e quando o painel é aberto antes de decidir o layout, e não deixe essa decisão para o tamanho da tela de quem o construiu.

    Mantenha uma nota de leitura curta, de uma ou duas frases, indicando de onde vem o dado, quando foi atualizado e como interpretar o indicador principal. Esse texto, pequeno, responde a metade das dúvidas que viram chamados ao time de BI e reduz a dependência de quem criou o painel.

    Como saber se funcionou

    Volte ao passo 1 após 60 a 90 dias e compare a razão de uso do público-alvo. Registre também se houve mudança em ações concretas: reunião que passou a usar o painel como pauta, decisão que citou o número, planilha paralela que foi desativada. Esses sinais qualitativos valem tanto quanto o acesso, porque mostram que o painel entrou no processo.

    Se mesmo assim ninguém usa, considere a possibilidade de que o painel não deva existir. Desativar um relatório que não sustenta decisão é uma entrega legítima, e reduz o custo de manutenção e a confusão de quem busca o número certo.

    Perguntas frequentes

    Qual a quantidade ideal de métricas em um dashboard?

    Não existe número exato. Como regra prática, um painel de decisão funciona com poucas métricas principais, e as demais ficam em páginas de apoio. O critério é a ação associada a cada número, não a quantidade.

    Preciso trocar de ferramenta de BI?

    Na maioria dos casos, não. O abandono costuma vir de pedido mal definido, métricas sem dono e falta de confiança nos dados, problemas que acompanham qualquer ferramenta.

    Como medir o uso se minha plataforma não registra acessos?

    Alguns recursos de log podem estar desativados por padrão. Se a plataforma realmente não oferece, uma alternativa é pedir ao público-alvo um breve levantamento sobre frequência de uso, sabendo que a estimativa será menos precisa.

    Dashboard operacional e executivo seguem o mesmo método?

    Sim, mas com frequências diferentes. O operacional precisa de dado mais atualizado e mais detalhe; o executivo, de síntese e comparação com meta.

  • Taxa de cliques orgânica: onde ela engana e como usá-la em decisões de SEO

    Uma taxa de cliques de 3,2% no relatório de desempenho do Search Console parece ruim ou boa? A resposta honesta é: depende de uma pergunta que o relatório não responde, que é em qual posição, para qual tipo de consulta e em qual formato de resultado essa taxa foi medida.

    A CTR orgânica é uma das métricas mais citadas e uma das mais mal interpretadas em SEO. Este texto destrincha como ela é calculada, onde engana e o que fazer com ela sem tirar conclusões erradas.

    Como a métrica é calculada

    A taxa de cliques é a divisão entre cliques e impressões. Se uma página aparece 10.000 vezes e recebe 320 cliques, a taxa é 3,2%. A conta é simples. O que a complica é a definição de “impressão”: no Search Console, a impressão conta quando o resultado entrou na página de resultados, mesmo que o usuário não tenha rolado até ele, e as regras de contagem variam conforme o tipo de resultado. Por isso, a mesma taxa pode esconder públicos que nunca viram o seu link.

    CTR = cliques ÷ impressões. Sempre leia junto com a posição média, porque taxa sem posição não diz nada.

    Por que a média global é a pior leitura possível

    A média do site mistura consultas de marca, que costumam ter CTR muito alta, com consultas genéricas em posições baixas, que têm CTR muito baixa. Quando você publica muito conteúdo novo que ainda aparece em posição 15 ou 20, a média cai, e isso é um efeito de composição, não de queda de qualidade dos títulos. O oposto também acontece: uma boa campanha de marca eleva a média e esconde um problema real nas páginas de conteúdo.

    Por isso, o primeiro corte obrigatório é separar consultas de marca e de não marca. Sem isso, qualquer conversa sobre CTR do site inteiro tende a ser ruído.

    O segundo corte: posição

    Em geral, a CTR cai de forma acentuada da primeira para a terceira posição e continua caindo depois. Existem estudos de mercado que publicam curvas médias, mas elas variam por setor, por dispositivo, por idioma e por presença de elementos como resumos em destaque, mapas e respostas geradas por IA. Use esses números como ordem de grandeza, nunca como meta.

    Mais útil que uma curva do mercado é a sua própria curva: agrupe suas consultas por posição média (1, 2–3, 4–5, 6–10) e calcule a CTR de cada faixa. Isso mostra o seu padrão e permite comparar páginas dentro do mesmo grupo.

    O terceiro corte: intenção da consulta

    Consultas informacionais, como “o que é churn”, frequentemente geram menos cliques porque o resultado responde direto na página. Consultas transacionais ou de comparação tendem a gerar mais clique, porque o usuário precisa visitar o site para agir. Comparar CTR de uma página informacional com a de uma página comercial é comparar categorias diferentes.

    Agrupe por intenção antes de comparar. Se não tiver ferramenta de classificação, um agrupamento manual por padrão de palavra (como, o que é, melhor, preço) já resolve a maior parte do caso.

    Exemplo de leitura com números fictícios

    Suponha um blog com três páginas de conteúdo, todas na posição média 4. A página A tem 8.000 impressões e 240 cliques (3,0%). A página B tem 6.000 impressões e 108 cliques (1,8%). A página C tem 500 impressões e 4 cliques (0,8%). A leitura apressada diz que C é a pior. Mas com 500 impressões, quatro cliques contra seis podem ser acaso. A página B, com volume relevante e CTR bem abaixo de A na mesma posição, é o candidato real a investigação: título genérico, descrição que repete o título ou intenção desalinhada.

    Esse tipo de leitura evita gastar semanas ajustando páginas em que a diferença é só ruído estatístico. Os números acima são ilustrativos e não representam nenhum site real.

    Número-chave: CTR relativa = CTR da página ÷ CTR média das páginas na mesma faixa de posição. Valores bem abaixo de 1,0 com volume alto indicam oportunidade.

    Um processo em cinco passos para usar a CTR

    1. Exporte consultas e páginas de um período de pelo menos 28 dias, evitando semanas atípicas.
    2. Separe marca de não marca e analise cada grupo em separado.
    3. Agrupe por faixa de posição e calcule a CTR de cada faixa.
    4. Identifique as páginas abaixo da própria curva, aquelas cuja CTR está bem abaixo da média da sua faixa de posição, com volume de impressões relevante.
    5. Teste uma mudança por vez em título ou descrição e compare o antes e o depois no mesmo intervalo de tempo.

    O passo 4 é onde o ganho aparece. Uma página na posição 3 com CTR abaixo de outras páginas na posição 3 tem um problema de título, de snippet ou de alinhamento com a intenção, e é candidata natural a ajuste.

    O que muda com resultados enriquecidos e respostas automáticas

    Hoje a página de resultados traz resumos, caixas de perguntas relacionadas, mapas, vídeos e, em muitas consultas, respostas geradas por IA acima dos links tradicionais. Cada um desses elementos empurra o primeiro resultado orgânico para baixo e desvia atenção. Na prática, a mesma posição 1 pode entregar CTR muito diferente de um ano para outro, sem que a página tenha mudado.

    Por isso, a série histórica precisa ser lida com cuidado. Se a CTR de um grupo de consultas cai enquanto a posição e as impressões se mantêm, uma explicação provável é a presença de novos elementos na página de resultados. A forma de confirmar é pesquisar manualmente as consultas mais importantes, no mesmo dispositivo, e observar o que aparece acima do seu resultado. Documente isso com capturas datadas, porque a página muda.

    Também vale separar dispositivos. No celular, os elementos adicionais ocupam proporcionalmente mais tela e a CTR tende a se comportar de forma diferente do computador. Um relatório que mistura os dois pode esconder mudanças relevantes.

    Onde a análise costuma falhar

    O primeiro erro é o volume pequeno. Com poucas centenas de impressões, a CTR oscila muito por acaso, e qualquer mudança parece efeito. Uma regra prática é definir um mínimo de impressões por página antes de olhar para a taxa, e esse mínimo depende do seu site. Não existe um número universal, mas abaixo de algumas centenas de impressões a leitura é frágil.

    O segundo erro é atribuir toda variação ao título. Mudança de posição, sazonalidade, atualização do Google e novos recursos na página de resultados afetam a taxa sem que você tenha mexido em nada. Por isso, o teste ideal compara páginas semelhantes, uma alterada e outra não, no mesmo período.

    O terceiro é ignorar a perda de cliques causada pelo próprio resultado: quando a resposta aparece no topo da página, a CTR cai mesmo com a posição estável. Nesse caso, o problema não é o título, é o formato do resultado, e a decisão pode ser mudar o ângulo do conteúdo.

    Como documentar a análise para repetir depois

    Um relatório de CTR que só vive na cabeça de quem fez é inútil seis meses depois. Registre sempre o período analisado, o filtro de marca e não marca, a definição das faixas de posição, o mínimo de impressões usado e as mudanças externas conhecidas. Guarde a exportação bruta junto ao relatório, para que outra pessoa consiga reproduzir os números.

    Defina também uma rotina de revisão. Uma checagem mensal das páginas abaixo da própria curva, com uma ou duas ações por ciclo, entrega mais resultado do que uma grande auditoria feita uma vez por ano. O motivo é a medição: com mudanças pequenas e datadas, você consegue atribuir efeito. Com dez mudanças ao mesmo tempo, você nunca vai saber o que funcionou.

    Por fim, relacione CTR a resultado de negócio. Um aumento de cliques em uma página sem potencial de conversão tem pouco valor. Cruze com conversões ou com engajamento para priorizar páginas em que mais cliques significam mais retorno.

    Quando a CTR não é a métrica certa

    Há situações em que olhar CTR atrapalha. Em páginas que respondem a uma pergunta curta, como uma definição ou um número, um usuário satisfeito pode nem clicar, e uma CTR baixa não significa fracasso. Nesses casos, a métrica relevante pode ser a presença do seu conteúdo como fonte da resposta, ou o efeito indireto em buscas de marca. Avalie o objetivo da página antes de impor uma meta de cliques.

    Da mesma forma, uma CTR alta pode mascarar um problema: se o título promete mais do que o conteúdo entrega, você ganha o clique e perde o usuário logo em seguida. Cruze a taxa com tempo de permanência e com conversões para entender se o clique foi bem aproveitado. A CTR mede a promessa do resultado, não a qualidade da entrega.

    Por isso, trate a taxa de cliques como uma das peças de um conjunto, ao lado de posição, impressões, engajamento e conversão. Isoladamente, ela conta uma história pela metade.

    O que levar para dentro da empresa

    Se você precisa defender um argumento, apresente a CTR por grupo, nunca a média do site. Mostre a faixa de posição, o volume de impressões e o período. Diga também quando o número é estimativa, quando o intervalo é curto e quando houve mudança externa no período. Um relatório que admite os limites é mais convincente que um que apresenta um número solto.

    Perguntas frequentes

    Qual é uma boa CTR orgânica?

    Não há número único. Depende de posição, intenção e tipo de resultado. Compare suas páginas com as suas próprias, no mesmo grupo.

    Mudar o título sempre aumenta a CTR?

    Não. Títulos mais específicos e alinhados à intenção costumam ajudar, mas é preciso testar e medir. Há casos em que a mudança piora o resultado.

    A CTR de respostas geradas por IA aparece no Search Console?

    As regras de relatório mudam com frequência. Consulte a documentação oficial atual para saber como esses formatos são contados.

    Quanto tempo esperar depois de mudar um título?

    Em geral, algumas semanas, para acumular impressões suficientes e atravessar a variação semanal. Evite concluir em poucos dias.

  • Cliques orgânicos caíram: como separar queda de CTR, de impressões e de mix de consultas

    Em uma conta de Search Console, as impressões ficaram estáveis, mas os cliques caíram 18% em três meses. A primeira reação do time foi culpar a posição. A pergunta de medição correta, porém, é outra: a queda veio do CTR, das impressões ou da composição das consultas? Cada resposta pede uma ação diferente, e confundir uma com a outra faz o time gastar um trimestre consertando o problema errado.

    Este artigo propõe um método em etapas para isolar a causa de uma queda de cliques orgânicos. Os números que aparecem nos exemplos são ilustrativos e servem para mostrar o raciocínio; não são de nenhuma pesquisa específica.

    Número-chave: cliques = impressões × CTR. Qualquer queda de cliques vem de uma das duas parcelas (ou das duas), e é essa decomposição que direciona a análise.

    Etapa 1: decomponha cliques em impressões e CTR

    Exporte os dados do Search Console para dois períodos comparáveis: o recente e o anterior, com o mesmo número de dias e, de preferência, o mesmo número de cada dia da semana. Comparar quatro semanas com quatro semanas evita o viés de feriados e de sazonalidade semanal. Depois, calcule a variação percentual de impressões e de CTR separadamente.

    Cenário Impressões CTR Leitura inicial
    A cai estável Perda de visibilidade: ranking, indexação ou demanda
    B estável cai Mudança na página de resultados ou nos snippets
    C sobe cai Entrada de consultas com menor intenção de clique
    D cai cai Combinação, exige segmentação

    Essa tabela é um ponto de partida, não um diagnóstico. Cada linha é uma hipótese a testar nas etapas seguintes.

    Etapa 2: separe marca de não marca

    Consultas de marca (as que contêm o nome da empresa) têm CTR muito alto e comportam-se diferente do restante. Uma campanha de mídia, um evento ou uma notícia mexe nelas sem ter relação com SEO. Filtre as consultas que contêm o nome da marca e analise as duas fatias separadamente.

    Um erro comum é concluir que “o SEO piorou” quando o que caiu foi a busca de marca depois do fim de uma campanha. A decisão correta passa a ser outra: ou reforçar a mídia, ou aceitar a queda como efeito sazonal.

    Etapa 3: olhe a posição média com desconfiança

    A posição média no Search Console é ponderada por impressões. Isso cria um paradoxo conhecido: quando a página começa a aparecer para muitas consultas de cauda longa, em posições baixas, a posição média piora, mesmo que as posições das consultas principais não tenham mudado. O contrário também ocorre.

    Por isso, a posição média agregada não deve ser usada como diagnóstico isolado. Compare as posições por consulta nas 20 ou 50 consultas com mais cliques no período anterior. Se elas continuam nas mesmas faixas, o problema não é de ranking.

    Etapa 4: verifique mudanças na página de resultados

    Nos últimos meses, a página de resultados de muitas consultas informativas passou a exibir respostas geradas por IA, caixas de resposta direta e blocos de perguntas relacionadas. Esses elementos podem reduzir o CTR de uma posição sem que a posição mude. O cenário B da tabela costuma ter essa origem.

    Como testar: pesquise manualmente as 10 consultas que mais perderam cliques, em janela anônima e no mesmo país, e registre o que aparece acima do seu resultado. Se há um bloco de resposta no topo, o CTR esperado para a sua posição é menor do que o de períodos anteriores. A ação, nesse caso, não é “melhorar o título”, e sim decidir se vale disputar a consulta ou migrar esforço para consultas com intenção transacional.

    Etapa 5: segmente por dispositivo, país e tipo de página

    Uma queda agregada pode esconder um problema localizado. Cruze a variação de cliques por dispositivo (celular versus desktop), por país e por grupo de páginas (blog, produto, categoria). Se a queda se concentra em um único grupo de páginas, a investigação deve ir para lá: um template alterado, uma regra de canonical mal aplicada, um bloqueio de rastreamento.

    1. Exporte os dados por página e por consulta para os dois períodos.
    2. Agrupe as páginas por tipo e calcule a variação de cliques de cada grupo.
    3. Ordene pelos grupos que mais explicam a perda absoluta, não a percentual.
    4. Abra o grupo líder e repita a decomposição de impressões e CTR.

    A perda absoluta importa mais do que a percentual: uma página que caiu 60% mas tinha 20 cliques explica menos do que um grupo que caiu 10% e tinha 8 mil.

    Estudo de caso ilustrativo: três leituras para a mesma queda

    Considere um site de conteúdo com 400 mil impressões e 12 mil cliques em um mês (CTR de 3,0%). No mês seguinte, as impressões sobem para 460 mil e os cliques caem para 11,5 mil (CTR de 2,5%). À primeira vista, o time diria que “o tráfego está estável”. A decomposição mostra outra história: as impressões cresceram 15%, e o CTR caiu cerca de 17%.

    O que explica essa combinação? Três hipóteses plausíveis, e cada uma pede um teste diferente. Primeira: o site passou a aparecer para mais consultas informativas de baixa intenção, o que aumenta impressões e dilui o CTR. O teste é filtrar as consultas novas e calcular o CTR delas separadamente. Segunda: um bloco de resposta direta ou de IA entrou nas consultas principais. O teste é a verificação manual descrita na etapa 4. Terceira: a posição média das consultas principais caiu uma ou duas posições, o suficiente para reduzir o CTR sem alterar muito as impressões. O teste é comparar as posições por consulta.

    Repare que a ação muda conforme a hipótese. Na primeira, o problema é de mensuração: o tráfego novo é de qualidade diferente e deve ser avaliado por conversão, não por cliques. Na segunda, a decisão é editorial e estratégica. Na terceira, é trabalho técnico e de conteúdo para recuperar posição. Sem a decomposição, o time tenderia a tratar tudo como a terceira.

    Armadilhas de medição que distorcem a leitura

    Algumas fontes de erro aparecem com frequência. A primeira é comparar períodos de tamanhos diferentes ou que contêm eventos distintos, como Black Friday ou férias escolares. A segunda é ignorar o atraso de dados do Search Console, que consolida as informações dos últimos dias de forma incompleta; evite incluir os dois ou três dias mais recentes na análise. A terceira é misturar propriedades: uma propriedade de domínio e uma de prefixo de URL podem mostrar números diferentes para o mesmo site.

    Outra armadilha é a mudança de configuração do próprio site. Uma migração de domínio, a troca de URLs, a alteração de templates e a inclusão de parâmetros podem redistribuir cliques entre páginas e dar a impressão de queda, quando o total se manteve. Antes de concluir que perdeu tráfego, verifique se houve alguma mudança técnica no período.

    Como transformar o diagnóstico em decisão

    Com a causa provável identificada, o passo seguinte é ligar a conclusão a uma ação com critério de sucesso mensurável. Se a hipótese é de perda de CTR por mudança na página de resultados, defina qual será o indicador de sucesso (por exemplo, o CTR das 20 consultas principais) e por quanto tempo você acompanhará, em geral entre quatro e oito semanas. Se a ação é reescrever títulos e descrições, teste em um grupo de páginas e use outro grupo parecido como controle, e não altere tudo ao mesmo tempo.

    O argumento que sobe para a diretoria deve conter três coisas: o que aconteceu, medido com números do período; a causa mais provável, com o grau de incerteza explicitado; e o que será feito, com prazo e métrica. Quem leva um relatório assim costuma ganhar credibilidade, porque separa o que se sabe do que se supõe.

    Quando a queda é real e quando é ruído

    Nem toda oscilação merece investigação. Sites pequenos têm variação natural grande, e uma semana com 20% a menos pode ser apenas ruído estatístico. Uma regra prática é calcular a variação semana a semana dos últimos três ou quatro meses e usar o intervalo observado como faixa de normalidade. Uma queda que ultrapassa essa faixa em duas ou mais semanas seguidas já justifica a análise completa. Uma queda isolada, sem repetição, geralmente não justifica.

    Vale também registrar, em uma planilha de eventos, tudo que mudou no site e no mercado: lançamentos de páginas, alterações técnicas, campanhas, atualizações de algoritmo anunciadas pelos buscadores. Quando a queda aparecer, a planilha encurta a investigação de dias para horas.

    O que concluir, e o que não concluir

    Com as cinco etapas, o time passa a ter uma hipótese ordenada por evidência, não uma opinião. O ponto de atenção é que o Search Console tem limitações: ele agrupa consultas raras e não mostra todas elas, e os dados de CTR dependem da posição em que o resultado foi exibido. Por isso, trate as conclusões como indícios e confirme com uma segunda fonte, como o analytics do site, o log do servidor ou uma ferramenta de monitoramento de posições.

    Se a ideia é levar o argumento para a diretoria, o formato que costuma funcionar é uma tabela com a decomposição de cliques, o cenário identificado e a ação proposta. Evite apresentar uma única causa quando as evidências apontam para mais de uma.

    Perguntas frequentes

    Uma queda de 10% em cliques já é um problema?

    Depende da variação histórica do site. Calcule a oscilação normal entre períodos equivalentes dos últimos meses; só vale investigar o que sai desse intervalo.

    Posso confiar no CTR médio de mercado?

    Como referência geral, sim, mas o CTR varia muito por tipo de consulta, dispositivo e elementos da página de resultados. Compare o seu site com ele mesmo ao longo do tempo antes de comparar com benchmarks.

    Preciso de ferramentas pagas para isso?

    Não para o diagnóstico inicial. O Search Console, uma planilha e um período de comparação bem definido já permitem isolar a causa na maior parte dos casos.

  • Presença da marca em respostas de IA: como medir sem confundir sorte com tendência

    Cinquenta perguntas feitas a um assistente de IA, doze respostas citando a sua marca: 24% de presença. O número cabe bem num slide e convence uma diretoria. O problema é que, com esse tamanho de amostra, o valor verdadeiro pode estar em qualquer ponto de uma faixa de aproximadamente 12 pontos percentuais para mais ou para menos. Uma queda de 24% para 18% na semana seguinte pode ser puro ruído.

    Este texto propõe um método para medir presença de marca em respostas de IA com disciplina estatística básica. Os números de exemplo são ilustrativos; os de qualquer medição real dependem do seu conjunto de perguntas, dos assistentes testados e do momento da coleta.

    Defina a métrica antes de coletar

    “Presença” pode significar coisas diferentes, e misturar definições é a primeira fonte de erro. Escolha uma e escreva:

    1. Taxa de menção: percentual de respostas que citam a marca pelo nome. É a mais simples e a mais fácil de auditar.
    2. Taxa de recomendação: percentual de respostas em que a marca aparece como opção sugerida, não apenas citada de passagem. Exige critério de classificação por escrito.
    3. Posição média: em respostas com lista, em que posição a marca aparece. Útil, mas só faz sentido com amostra suficiente de listas.
    4. Participação relativa: menções da sua marca divididas pelo total de menções a marcas do mesmo grupo. Mostra o seu espaço frente aos concorrentes.
    Número-chave: taxa de menção = respostas que citam a marca ÷ total de respostas válidas. Sempre reporte o total de respostas ao lado do percentual.

    Monte o conjunto de perguntas como se fosse uma pesquisa

    As perguntas precisam representar o que o seu cliente de fato pergunta, não o que o time de marketing gostaria que ele perguntasse. Uma boa fonte é o que o suporte e o time comercial ouvem, somado aos termos de busca que já trazem tráfego. Divida em grupos: perguntas de descoberta (“qual ferramenta usar para…”), de comparação (“A ou B para…”) e de decisão (“vale a pena contratar…”).

    Dois cuidados evitam viés. O primeiro é não incluir o nome da sua marca nas perguntas de descoberta, porque isso garante a menção e infla o número. O segundo é variar a redação: a mesma intenção escrita de quatro formas diferentes revela se a presença depende de uma frase específica.

    Calcule o tamanho da amostra e a margem de erro

    A margem de erro aproximada para uma proporção p com n respostas é 1,96 × raiz de p(1−p)/n. Para p = 24% e n = 50, o resultado é cerca de 12 pontos percentuais. Para n = 200, cai para cerca de 6 pontos. Para n = 800, algo próximo de 3.

    Respostas (n) Taxa observada Margem de erro aproximada Faixa plausível
    50 24% ±12 p.p. 12% a 36%
    200 24% ±6 p.p. 18% a 30%
    800 24% ±3 p.p. 21% a 27%

    Isso é uma aproximação, e vale com duas ressalvas. Respostas repetidas do mesmo assistente para a mesma pergunta não são amostras independentes, então a margem real tende a ser maior do que a calculada. E se a taxa é muito próxima de 0% ou de 100%, a fórmula perde precisão. Trate esses valores como ordem de grandeza.

    Repita a coleta, porque a resposta muda

    Assistentes de IA geram respostas com variação interna. A mesma pergunta, feita duas vezes seguidas, pode devolver listas diferentes. Por isso, rode cada pergunta mais de uma vez, em dias diferentes, e registre a data, o assistente e a versão informada, quando houver. Misturar coletas de modelos distintos num único percentual esconde diferenças relevantes: separe por assistente.

    Uma regra prática é só chamar de tendência uma variação que se sustenta por pelo menos três coletas seguidas e que supera a margem de erro. Uma queda isolada de seis pontos com n = 50 não conta como evidência de nada.

    Onde a medição engana

    Há quatro armadilhas recorrentes. A primeira é o viés de formulação: perguntas escritas pelo time de marca favorecem a marca. A segunda é a mudança silenciosa do modelo: uma atualização do assistente muda os resultados sem que nada tenha mudado no seu site. A terceira é a confusão entre menção e impacto: ser citado não é o mesmo que gerar clique ou venda, e ligar uma coisa à outra exige dados de tráfego e de conversão que a medição de menções sozinha não fornece. A quarta é a personalização: respostas variam conforme o histórico e a localização de quem pergunta, então uma coleta feita em uma única conta pode não refletir o que o público vê.

    Um exemplo completo, com números ilustrativos

    Suponha uma empresa de software de gestão que monta um conjunto de 120 perguntas, divididas em três grupos de 40: descoberta, comparação e decisão. Cada pergunta é feita duas vezes por semana a dois assistentes, durante três semanas. Isso gera 120 × 2 × 2 × 3 = 1.440 respostas no total, ou 720 por assistente.

    Na primeira semana, o assistente A cita a marca em 22% das respostas e, na terceira, em 27%. A diferença é de cinco pontos percentuais. Com 240 respostas por semana por assistente, a margem de erro de cada medida fica em torno de 5 a 6 pontos. Ou seja: a diferença está dentro do ruído, e afirmar que a marca “cresceu” seria precipitado. O que se pode dizer é que a medida está estável ou que há um sinal fraco de alta que precisa de mais coletas para ser confirmado.

    No assistente B, a taxa vai de 10% para 24% ao longo das mesmas três semanas. Aqui a diferença é de 14 pontos, maior do que a soma das margens, e se repete em coletas consecutivas. Essa variação merece investigação: a empresa publicou conteúdo novo no período? O assistente mudou de versão? O concorrente principal perdeu presença? Sem registrar esses eventos junto da série, o número vira curiosidade.

    Por fim, o grupo de perguntas importa. Se a presença no grupo de comparação é de 40% e no de descoberta é de 8%, o problema da marca é de visibilidade em quem ainda não a conhece, e a estratégia de conteúdo deve mirar nesse grupo. Médias gerais escondem esse padrão e levam a decisões erradas.

    Como documentar a metodologia para que ela seja auditável

    Uma medição só é útil se outra pessoa conseguir refazê-la e chegar ao mesmo resultado. Mantenha um documento de método com cinco itens: a lista completa de perguntas e a data da última revisão; a definição de cada métrica; a lista de assistentes e as versões, quando informadas; o procedimento de coleta, incluindo conta, idioma e localização; e as regras de classificação das respostas, com exemplos de casos duvidosos.

    A classificação merece atenção especial. Quando duas pessoas classificam as mesmas 100 respostas de forma independente, a concordância entre elas indica se a regra está clara. Se discordam em muitos casos, a regra precisa ser reescrita antes de a série histórica ser comparada. Sem isso, a oscilação do número pode refletir mudança de quem classifica, e não mudança do assistente.

    Guarde também as respostas brutas, com data e pergunta, em vez de guardar só o resultado agregado. Se a diretoria questionar um número daqui a seis meses, será possível voltar ao texto original. E se o critério mudar, é possível reclassificar todo o histórico, evitando uma quebra na série que inviabilize a comparação.

    Por fim, estabeleça um calendário. Coletas semanais com o mesmo conjunto de perguntas por pelo menos oito a doze semanas formam uma linha de base suficiente para distinguir a variação normal de uma mudança real. Antes disso, qualquer interpretação deve ser apresentada como hipótese de trabalho.

    Como levar isso para a reunião

    Em vez de apresentar um percentual único, apresente três coisas: a taxa com a margem de erro, a comparação com os concorrentes no mesmo conjunto de perguntas e a variação ao longo de ao menos três coletas. Se a diretoria perguntar se vale investir em conteúdo para melhorar essa presença, a resposta honesta é que existem hipóteses plausíveis, mas poucas evidências causais publicadas, então o investimento deve ser tratado como experimento com métrica definida e prazo para reavaliar.

    Resumindo o método em uma frase: defina a métrica, represente o público nas perguntas, calcule a margem de erro, repita a coleta e só chame de tendência o que sobrevive a três rodadas seguidas.

    Perguntas frequentes

    Quantas perguntas eu preciso, no mínimo?

    Para comparar períodos com alguma confiança, procure algo na casa das centenas de respostas por assistente. Com menos de cinquenta, use o resultado apenas como exploração.

    Posso automatizar a coleta?

    Pode, desde que respeite os termos de uso de cada serviço. Automatizar ajuda a repetir a coleta, mas a classificação das respostas precisa de uma amostra revisada por humanos para checar erros.

    Menção negativa conta?

    Registre separadamente. Uma menção que recomenda não ficar com a sua marca tem valor oposto ao de uma recomendação, e somar as duas distorce o resultado.

    Como saber se a mudança foi causada pelo meu conteúdo?

    Em geral, não dá para saber só com esse tipo de medição. Para sustentar causalidade, compare páginas ou temas que receberam conteúdo novo com temas parecidos que não receberam, no mesmo período, e registre a data de cada publicação. Mesmo assim, o resultado é indício, não prova: assistentes mudam de versão, e concorrentes também publicam.

    Vale medir também as fontes citadas pelo assistente?

    Vale, quando o assistente informa fontes. Registrar quais domínios aparecem mostra de onde a resposta se alimenta e ajuda a priorizar onde ter presença. Trate a lista como um retrato da coleta, sujeito às mesmas margens de erro e à mesma variação entre execuções que a taxa de menção.

  • Atribuição de última interação: quanto de crédito o orgânico perde e como refazer a conta

    Numa operação com busca orgânica relevante, a diferença entre o que o relatório de última interação mostra e o que uma análise de caminho completo devolve ao canal costuma ser grande o bastante para mudar decisão de orçamento. Não é um erro de implementação: é o modelo funcionando exatamente como foi desenhado. A pergunta que este texto responde é outra — como estimar o tamanho dessa diferença na sua base, sem trocar de ferramenta e sem esperar seis meses.

    O que o modelo de última interação realmente mede

    Última interação (ou last click) atribui 100% da conversão ao último canal não direto antes do fechamento. É um modelo de registro, não de causalidade: ele responde “por onde a pessoa entrou desta vez”, e essa é uma pergunta legítima. O problema começa quando a resposta é usada para decidir onde investir, porque aí a pergunta deixa de ser “por onde entrou” e passa a ser “o que fez a pessoa comprar” — e são coisas diferentes.

    A distorção tem um padrão previsível. Canais que aparecem cedo no caminho, quando a pessoa ainda está descobrindo que tem um problema, quase nunca são o último clique. Canais que aparecem tarde, quando a pessoa já decidiu e está só localizando a página, quase sempre são. Busca orgânica de topo, conteúdo educativo, vídeo e redes sociais caem no primeiro grupo. Busca paga de marca, e-mail de carrinho abandonado e retargeting caem no segundo.

    Isso significa que o modelo tende a subestimar sistematicamente o primeiro grupo e superestimar o segundo. A magnitude varia muito: em venda de ticket baixo e ciclo de um dia, a diferença entre modelos costuma ser pequena, porque há poucos pontos de contato para distribuir. Em B2B com ciclo de semanas ou meses e oito a quinze toques registrados, a diferença fica grande o suficiente para inverter o ranking de canais.

    Onde o orgânico desaparece da conta

    Há três mecanismos distintos que tiram crédito do orgânico, e eles se somam. Vale separá-los porque cada um exige uma correção diferente.

    O primeiro é a posição no caminho, já descrita. O segundo é a canibalização por marca: alguém lê um artigo seu, sai, volta três dias depois digitando o nome da empresa no buscador e clica no anúncio de marca que está acima do resultado orgânico. O último clique registra mídia paga. A busca orgânica que gerou o conhecimento não aparece em lugar nenhum, e o anúncio de marca recebe crédito por uma intenção que ele não criou.

    O terceiro é a perda de rastro entre dispositivos e sessões. Descoberta no celular, compra no desktop, janela de cookie expirada, navegador que limita armazenamento — cada uma dessas situações quebra o caminho e transforma um toque intermediário em uma sessão direta ou em um caminho de um único clique. O efeito é assimétrico: o toque perdido é quase sempre o mais antigo, ou seja, o do canal de descoberta.

    Antes de discutir modelo, meça a taxa de caminhos de um único clique na sua base. Se ela estiver muito alta em um produto de ciclo longo, o problema não é o modelo de atribuição — é a coleta de dados, e trocar de modelo não vai corrigir nada.

    Os quatro modelos e o que cada um distorce

    Nenhum modelo baseado em regra é neutro. Cada um embute uma teoria sobre como a decisão de compra acontece, e a escolha entre eles é a escolha de qual erro você prefere cometer.

    Modelo Como distribui Superestima Quando faz sentido
    Última interação Tudo para o último toque não direto Marca paga, retargeting, e-mail transacional Ciclo curto, poucos toques, decisão por impulso
    Primeira interação Tudo para o toque inicial Canais de descoberta e prospecção fria Avaliar geração de demanda nova, não fechamento
    Linear Peso igual entre todos os toques Canais de alta frequência e baixo custo Ciclo longo, quando nenhum toque é claramente decisivo
    Decaimento temporal Peso maior quanto mais perto do fechamento Ainda favorece o fim, mas sem zerar o começo Meio-termo razoável para B2B com ciclo de semanas

    Há ainda modelos orientados a dados, que ajustam os pesos a partir da comparação entre caminhos que converteram e caminhos que não converteram. Eles são melhores que regras fixas quando há volume suficiente de conversão, mas continuam sendo correlação — descrevem o que acompanha a conversão, não o que a causa. E são sensíveis à mesma perda de rastro descrita acima: se o dado de entrada está incompleto, o modelo aprende o padrão da lacuna.

    Como refazer a conta sem ferramenta nova

    Dá para estimar a ordem de grandeza da distorção com o que a maioria das operações já tem. O procedimento tem cinco etapas.

    1. Exporte os caminhos de conversão dos últimos 90 dias. Você precisa da sequência de canais por conversão, não do relatório já agregado por canal.
    2. Separe as conversões por número de toques. Um clique, dois a três, quatro ou mais — essa quebra sozinha já mostra quanto da sua base está em ciclo curto.
    3. Reprocesse cada grupo em dois modelos: última interação e linear. A diferença percentual por canal, dentro do grupo de quatro ou mais toques, é a sua estimativa de distorção.
    4. Isole a busca de marca do resto da mídia paga. Marca misturada com prospecção esconde o efeito de canibalização, que é justamente o que você quer enxergar.
    5. Compare o crédito do orgânico nos dois modelos e escreva a faixa, não o número. Algo como “entre X% e Y% mais crédito no modelo linear” é uma conclusão defensável; um número único não é.

    Esse exercício não prova causalidade. Ele mostra quanto da sua leitura atual depende da escolha de modelo — e essa informação já muda a conversa com quem aprova orçamento, porque tira a discussão do terreno da opinião.

    O teste que resolve a discussão

    Atribuição descreve caminhos registrados. Para saber o que aconteceria sem o canal, é preciso desligá-lo em algum lugar e comparar. O desenho mais barato para isso é o teste geográfico: escolhe-se um conjunto de regiões comparáveis, suspende-se o investimento no canal em metade delas, mantém-se na outra metade, e observa-se a diferença de receita total — não de receita atribuída.

    Duas exigências tornam esse teste viável ou inviável. A primeira é volume: regiões com poucas conversões por semana produzem variação aleatória grande o bastante para engolir o efeito. A segunda é tempo: o período precisa cobrir pelo menos um ciclo de venda completo, e depois mais um, porque o efeito de desligar um canal de descoberta aparece com atraso. Em operação de ciclo longo, isso significa um teste de meses, o que muitas vezes é o argumento real contra fazê-lo.

    Quando o teste não cabe, a alternativa honesta é assumir a incerteza: manter o modelo atual como registro operacional, tratar a faixa calculada na seção anterior como margem de erro conhecida e não usar variação de poucos pontos percentuais entre canais como base para realocar orçamento.

    Qual modelo usar em qual situação

    Para operação de ciclo curto, ticket baixo e maioria de caminhos com um ou dois toques, última interação é adequado e trocar por outra coisa adiciona complexidade sem ganho. A distorção existe, mas é pequena diante do ruído natural da operação.

    Para ciclo de semanas com quatro ou mais toques típicos, decaimento temporal é a escolha mais defensável entre os modelos de regra. Ele não finge que todos os toques pesam igual, o que é implausível, nem zera o começo do caminho, que é o erro grave do último clique. Não é correto — nenhum é — mas erra menos onde erra mais caro.

    Para qualquer decisão de aumentar ou cortar investimento acima de uma fatia relevante do orçamento, nenhum modelo de atribuição deveria ser suficiente sozinho. Aí vale o teste geográfico, mesmo que demore. O custo de rodá-lo é conhecido e limitado; o custo de cortar por três meses um canal que sustentava a demanda do fundo do funil não aparece em relatório nenhum até ser tarde.

    Perguntas frequentes

    Trocar o modelo de atribuição muda a receita real?

    Não. Muda apenas a distribuição do crédito entre canais. A receita total é a mesma em qualquer modelo — o que varia é a quem ela é creditada, e portanto quais decisões de orçamento parecem justificadas.

    Conversões marcadas como diretas podem ser recuperadas?

    Parcialmente. Parte do tráfego direto é gente que realmente digitou o endereço; outra parte é rastro perdido. Comparar a proporção de diretas entre dispositivos e entre páginas de entrada ajuda a separar os dois casos, mas não existe forma de recuperar a origem de uma sessão cujo caminho foi quebrado.

    Vale a pena implementar atribuição no servidor?

    Ajuda no terceiro mecanismo descrito acima — a perda de rastro — e costuma reduzir a proporção de caminhos de um único clique. Não resolve a canibalização por marca nem a questão de posição no caminho, porque essas são limitações do modelo, não da coleta.

    Qual janela de atribuição usar?

    Ela precisa ser pelo menos tão longa quanto o ciclo de venda observado, medido da primeira visita ao fechamento, no percentil alto e não na média. Janela mais curta que o ciclo descarta o começo do caminho por construção — e o começo do caminho é exatamente onde o orgânico aparece.

  • Avaliação de assistente de IA interno: o framework de cinco camadas para saber se ele está respondendo certo

    A pergunta que trava a maioria dos projetos de assistente interno não é qual modelo usar. É esta: qual número prova que ele está funcionando? Quando a resposta vem como “a equipe gostou” ou “parece que acerta uns 90%”, não existe avaliação — existe impressão. E impressão não sobrevive à primeira reunião em que alguém pergunta por que o assistente inventou um prazo de garantia que não existe em lugar nenhum da base.

    Avaliar um assistente que responde sobre documentos internos é diferente de avaliar um classificador. Não há rótulo único e objetivo para “resposta certa”. Mas isso não significa que não dê para medir. Significa que a medição precisa ser decomposta em camadas, porque cada camada falha por um motivo distinto e exige uma correção distinta. Um framework de cinco camadas resolve o problema sem exigir time de machine learning dedicado.

    Antes das camadas, um aviso sobre o número que costuma ser reportado: taxa de acerto agregada é um número inútil isolado. Suponha um assistente que responde dúvidas sobre política interna de RH e acerta 8 de cada 10 perguntas de teste. O número parece bom. Só que ele não diz nada sobre o que fazer a seguir, porque as duas falhas podem ter origens completamente diferentes.

    Se o assistente errou porque o trecho correto do documento nunca chegou até o modelo, o problema é de recuperação — e trocar de modelo de linguagem não resolve nada. Se o trecho chegou e o modelo o contradisse, o problema é de geração. Se o trecho chegou, o modelo o reproduziu corretamente, mas a resposta não serve para a pessoa decidir nada, o problema é de utilidade. São três diagnósticos e três correções sem nenhuma sobreposição.

    Uma taxa agregada mistura os três e apaga a informação que importa. O framework existe para separá-los antes de agregar qualquer coisa.

    A métrica que deve ser reportada primeiro não é a taxa de acerto final, e sim a taxa de recuperação: em que porcentagem das perguntas o trecho que contém a resposta apareceu entre os documentos enviados ao modelo. Se esse número estiver abaixo de 80%, nenhuma melhoria de prompt ou troca de modelo muda o resultado final de forma relevante — o teto já foi definido antes do modelo entrar em cena.

    Camada 1: recuperação — o trecho certo chegou?

    Esta é a camada mais barata de medir e a mais frequentemente ignorada. A pergunta é binária: entre os documentos que o sistema selecionou para responder, existe o trecho que de fato contém a informação?

    Para medir, monte um conjunto de perguntas em que você já sabe qual documento e qual seção respondem. Rode a busca isoladamente, sem gerar resposta nenhuma, e verifique se o trecho esperado apareceu. Duas variantes valem a pena: apareceu em qualquer posição, e apareceu entre os três primeiros. A diferença entre esses dois números indica se o problema é de cobertura ou de ordenação.

    Falha de cobertura costuma vir de fragmentação ruim — pedaços de documento cortados no meio de uma tabela, ou grandes demais para que a parte relevante tenha peso. Falha de ordenação costuma se resolver com uma etapa de reordenação dos candidatos, que hoje é barata o suficiente para ser padrão.

    Camada 2: fidelidade — a resposta cabe no que foi recuperado?

    Com o trecho certo em mãos, a próxima pergunta é se a resposta gerada se sustenta nele. Não se trata de estar certa no mundo: trata-se de estar contida no material fornecido. Uma resposta pode ser verdadeira e ainda assim ser um problema grave, se o modelo a produziu de memória em vez de ler a base da empresa — porque na próxima vez, com a política atualizada, ele vai repetir a versão antiga.

    A forma prática de medir isso é exigir que cada afirmação da resposta venha com a referência ao trecho de origem, e então verificar, afirmação por afirmação, se o trecho realmente sustenta aquilo. Dá para fazer isso com revisão humana em amostra pequena, e dá para automatizar com um segundo modelo atuando como avaliador, desde que a amostra automatizada seja calibrada contra a humana de tempos em tempos.

    O erro comum aqui é aceitar a citação como prova. O modelo cita o documento correto e, no meio da frase, acrescenta uma condição que o documento não menciona. Verificação de fidelidade que só confere se a citação existe não pega esse caso — ela precisa conferir se a citação sustenta o que foi dito.

    Camada 3: comportamento fora de escopo — ele sabe dizer que não sabe?

    Esta camada é a que mais separa um assistente utilizável de um passivo. Metade das perguntas reais de um assistente interno não tem resposta na base: são perguntas sobre exceções, sobre casos que ninguém documentou, ou sobre assuntos de outra área.

    Monte um conjunto de perguntas propositalmente sem resposta na base e meça uma única coisa: em que porcentagem delas o assistente disse que não encontrou a informação, em vez de produzir algo plausível. Esse número costuma ser desconfortavelmente baixo na primeira medição, porque o comportamento padrão da maioria dos modelos é sempre responder.

    Vale separar dois tipos de abstenção: a correta, quando a informação não existe mesmo, e a excessiva, quando a informação está na base e o assistente se recusa a responder. Otimizar só o primeiro número produz um assistente que não responde nada. Os dois precisam ser reportados juntos.

    Camada 4: utilidade — a resposta resolve a tarefa?

    Aqui a avaliação deixa de ser automatizável e passa a depender de quem usa. A resposta pode ser recuperada corretamente, fiel à fonte, e ainda assim inútil: longa demais para quem está no telefone com um cliente, ou genérica demais para quem precisa de um valor específico.

    A medição prática é um julgamento de três níveis feito por quem trabalha na área: resolveu sozinha, resolveu mas exigiu conferência no documento, não resolveu. O segundo nível é o mais informativo, porque indica onde o assistente está entregando meia entrega — e meia entrega em volume alto às vezes custa mais tempo do que não ter assistente nenhum.

    Camada O que mede Como corrigir quando falha
    Recuperação Se o trecho com a resposta chegou ao modelo Refazer a fragmentação, revisar a busca, adicionar reordenação
    Fidelidade Se a resposta se sustenta no trecho recuperado Exigir citação por afirmação, restringir o prompt, reduzir contexto irrelevante
    Fora de escopo Se o assistente admite não saber Definir critério de confiança e caminho de encaminhamento humano
    Utilidade Se a resposta resolve a tarefa de quem perguntou Ajustar formato, tamanho e nível de detalhe por tipo de pergunta
    Regressão Se uma mudança quebrou algo que funcionava Congelar conjunto de avaliação e rodar antes de cada alteração

    Camada 5: regressão — a mudança de ontem quebrou o que funcionava?

    A quinta camada não mede qualidade: mede estabilidade. Todo ajuste de prompt, toda troca de versão de modelo e toda reindexação da base tem potencial de melhorar um conjunto de perguntas e piorar outro. Sem um conjunto fixo rodado antes e depois, essa troca acontece às cegas.

    O conjunto de regressão precisa ser congelado e versionado como código. Quando uma pergunta é corrigida depois de uma falha real em produção, ela entra no conjunto e nunca mais sai. É assim que o conjunto ganha valor com o tempo, porque passa a conter exatamente os casos que já deram problema.

    Como montar o conjunto de avaliação sem equipe dedicada

    A objeção prática mais comum é que não há tempo para construir centenas de exemplos rotulados. Não precisa haver. Um conjunto inicial na casa de algumas dezenas de perguntas, escolhidas a dedo, entrega a maior parte do valor — e é infinitamente melhor do que nenhum.

    1. Extraia as perguntas do histórico real. As dúvidas que as pessoas já mandavam por mensagem antes do assistente existir são o melhor material possível, porque refletem a distribuição real de perguntas, não a que você imagina.
    2. Rotule só a fonte, não a resposta. Escrever a resposta ideal para cada pergunta consome tempo demais. Anotar qual documento e qual seção respondem é rápido e habilita as camadas 1 e 2 inteiras.
    3. Inclua deliberadamente o que não tem resposta. Reserve em torno de um quinto do conjunto para perguntas sem resposta na base — é a única forma de medir a camada 3.
    4. Estratifique por tipo de pergunta. Perguntas de valor exato, de procedimento e de exceção falham de formas diferentes. Uma média que junta os três esconde qual deles está quebrado.
    5. Deixe a rodada automatizada em um comando. Se rodar a avaliação der trabalho, ela vai ser rodada uma vez e abandonada.

    Se for necessário escolher por onde começar, comece pela camada 1 e pela camada 3. A primeira define o teto do sistema e é a mais barata de medir. A terceira é a que evita o incidente que derruba a confiança interna no projeto de uma vez só — e confiança interna, uma vez perdida, custa mais para recuperar do que qualquer ganho de acurácia.

    Perguntas frequentes

    Dá para usar um modelo de linguagem como avaliador das respostas?

    Dá, e é a prática mais comum hoje para escalar a avaliação de fidelidade. A ressalva é que o avaliador também erra, e erra de forma correlacionada quando é o mesmo modelo que gerou a resposta. O caminho é calibrar: revise manualmente uma amostra do que o avaliador julgou, meça a concordância, e trate o número automatizado como estimativa com margem conhecida, não como verdade.

    Com que frequência a avaliação deve ser rodada?

    O conjunto de regressão, antes de cada mudança que entra em produção. As camadas de utilidade, que dependem de julgamento humano, em ciclos mais longos — mensal costuma ser suficiente para a maioria das operações, e semanal só faz sentido enquanto o sistema ainda está mudando muito.

    Quantas perguntas o conjunto precisa ter para o número ser confiável?

    Depende da diferença que se quer detectar. Para perceber uma variação grande, algumas dezenas bastam. Para afirmar com segurança que uma mudança melhorou o sistema em poucos pontos percentuais, o conjunto precisa ser bem maior — e nesse caso vale reconhecer que o experimento não tem poder estatístico para a afirmação, em vez de reportar a diferença como se fosse real.

    Vale medir satisfação do usuário com polegar para cima e para baixo?

    Vale como sinal de alerta, não como métrica de qualidade. A taxa de resposta desse tipo de botão é baixa e enviesada para os extremos: quem clica é quem ficou muito satisfeito ou muito irritado. Serve bem para encontrar casos ruins que deveriam entrar no conjunto de regressão, e mal para acompanhar tendência.