Uma plataforma de automação de marketing com IA fecha o mês reportando que os fluxos automatizados geraram R$ 180 mil em receita atribuída. Na reunião seguinte, quase ninguém faz a pergunta que decide o orçamento do ano: quanto dessa receita não teria acontecido de qualquer maneira? Receita atribuída e ganho incremental são coisas diferentes, e a distância entre as duas costuma ser grande justamente nos fluxos que parecem melhores.
Este texto é sobre desenho de medição, não sobre escolha de ferramenta. O problema descrito aqui aparece igual em qualquer plataforma, porque ele não está no produto — está na forma como o número é calculado.
O que o painel mede e o que ele deixa de fora
A esmagadora maioria dos relatórios de automação usa atribuição por último toque dentro de uma janela — o clique ou a abertura mais recente antes da conversão, normalmente com janela de alguns dias. A regra é razoável para organizar o relatório. O problema é que ela responde a uma pergunta descritiva (“qual foi o último contato antes da compra?”) e é lida como se respondesse a uma pergunta causal (“essa mensagem causou a compra?”).
A distorção não é aleatória, e é aí que ela machuca. Fluxos automatizados são disparados por sinal de intenção: carrinho abandonado, visita repetida à página de preço, fim de trial, aniversário de contrato. São exatamente os usuários com maior probabilidade de comprar sem estímulo nenhum. A automação chega por último numa fila que já estava andando e leva o crédito da fila inteira.
Camadas de IA agravam o efeito em vez de corrigi-lo. Um modelo de propensão que escolhe quem receber a mensagem é treinado para identificar quem tem maior chance de converter — ou seja, é otimizado para selecionar pessoas cuja conversão seria mais provável de qualquer forma. Quanto melhor o modelo de propensão, mais inflada fica a receita atribuída e menor tende a ser a parcela realmente incremental. É um caso em que a métrica melhora enquanto o argumento piora.
Por que a sazonalidade contamina a comparação antes e depois
O segundo desenho mais comum é a comparação temporal: liga-se a automação em determinado mês e compara-se o trimestre seguinte com o anterior. O desenho parece limpo porque a base é a mesma. Não é.
Entre os dois períodos mudaram, no mínimo: o calendário comercial, o volume de mídia paga, o mix de canais de aquisição, a composição da base (quem entrou nos últimos noventa dias tem comportamento diferente de quem está há dois anos) e, com frequência, o preço. Em varejo, a diferença entre novembro e setembro basta para produzir sozinha uma variação de dois dígitos. Em B2B com ciclo trimestral, o último mês do trimestre carrega uma concentração de fechamentos que nada tem a ver com o fluxo de e-mail.
Há um agravante prático: automação quase nunca é ligada em momento neutro. Ela costuma ser ligada quando o time decidiu investir em crescimento — junto com mais verba de mídia, campanha nova e às vezes promoção. O antes e depois mede o pacote inteiro e credita o resultado ao componente mais fácil de instrumentar.
O desenho que isola o efeito: holdout aleatório
O único desenho que responde à pergunta causal sem depender de suposição forte é reservar aleatoriamente uma parte da base que não recebe a automação, e comparar os dois grupos no mesmo intervalo de tempo. Como os dois grupos atravessam a mesma Black Friday, a mesma greve dos Correios e o mesmo reajuste de preço, tudo que é sazonal se cancela.
O procedimento mínimo tem cinco etapas:
- Definir a unidade de aleatorização. Normalmente o usuário; em operações com contas multiusuário, a conta, para evitar que duas pessoas da mesma empresa caiam em grupos diferentes.
- Sortear antes de qualquer filtro de elegibilidade. O sorteio precisa acontecer sobre toda a base que poderia entrar no fluxo, não sobre quem o modelo já selecionou — caso contrário o viés de seleção volta pela porta dos fundos.
- Congelar o grupo de controle por um período inteiro. Trocar quem está no holdout a cada campanha destrói a comparação, porque contamina o controle com exposição parcial.
- Definir a métrica primária antes de olhar o resultado. Uma só: receita por usuário no período, ou taxa de conversão, ou retenção. As demais entram como secundárias e não decidem nada sozinhas.
- Fixar a data de leitura. Olhar todo dia e parar quando dá significância é a forma mais rápida de transformar ruído em decisão.
Quanto de base reservar sem travar a operação
A pergunta que trava o projeto na prática costuma ser comercial: ninguém quer abrir mão de receita para medir. A resposta depende do tamanho do efeito que se quer detectar, e essa relação é pouco intuitiva — detectar um efeito pela metade do tamanho exige aproximadamente quatro vezes mais gente em cada grupo, não o dobro.
Isso tem uma consequência prática direta. Se a expectativa honesta de ganho é da ordem de poucos pontos percentuais sobre a taxa de conversão atual, o experimento precisa de dezenas de milhares de usuários por grupo para distinguir o efeito do ruído. Bases pequenas simplesmente não conseguem medir efeitos pequenos, e insistir produz um resultado inconclusivo caro. Os números exatos variam com a taxa de conversão de partida e com a variância do ticket — em receita por usuário, onde uma minoria de compradores grandes domina a média, a variância é alta e a amostra necessária cresce bastante.
Duas saídas honestas quando a base é pequena: rodar o holdout por mais tempo, acumulando volume, ou aceitar que só efeitos grandes serão detectáveis e declarar isso antes de começar. A saída desonesta é rodar com amostra insuficiente e apresentar a diferença observada como se fosse resultado.
Sobre o tamanho do holdout: reservar 10% da base costuma ser o ponto onde o custo de oportunidade é tolerável para o time comercial. Se a base for pequena, dividir meio a meio é estatisticamente muito mais eficiente e vale a negociação interna — a perda de receita durante um trimestre é menor do que o custo de manter por anos um fluxo que não funciona.
A conta do ganho incremental
Com o holdout rodando, a conta é subtração. O exemplo abaixo usa números redondos apenas para mostrar a mecânica; não é benchmark de nenhum setor.
| Grupo | Usuários | Compradores | Receita | Receita por usuário |
|---|---|---|---|---|
| Com automação | 90.000 | 4.050 | R$ 1.620.000 | R$ 18,00 |
| Holdout (sem automação) | 10.000 | 420 | R$ 168.000 | R$ 16,80 |
O ganho incremental por usuário é R$ 1,20 — a diferença entre R$ 18,00 e R$ 16,80. Aplicado aos 90 mil expostos, dá cerca de R$ 108 mil de receita que não existiria sem a automação. O painel da ferramenta, nesse mesmo cenário, reportaria como receita atribuída algo próximo dos R$ 400 mil que passaram por algum toque do fluxo. A diferença entre os dois números não é erro da ferramenta: são perguntas diferentes.
Só o segundo número entra na conta de retorno. Contra ele se coloca o custo total: licença da plataforma, custo de inferência do modelo, horas de operação e de dados. Se o incremental não cobrir esse total com folga, o projeto está se pagando com receita que já era da casa.
Quando o holdout não é possível
Há casos legítimos em que reservar usuários não funciona: base muito pequena, canal que não permite exclusão individual, ou efeito de rede entre usuários que contamina o controle. As alternativas resolvem parcialmente e cada uma cobra um preço.
| Desenho | Quando usar | O que se perde |
|---|---|---|
| Teste geográfico | Canal sem controle por usuário; operação com praças comparáveis | Poucas unidades de aleatorização, o que exige efeito grande para ser detectável |
| Diferenças em diferenças | Rollout já aconteceu e existe um grupo não exposto com histórico paralelo | Depende da suposição de que as duas séries seguiriam paralelas — não verificável, só plausível |
| Rollout escalonado | Implantação por etapas já prevista no cronograma | Confunde efeito com maturidade da operação se as etapas forem muito espaçadas |
| Antes e depois puro | Praticamente nunca | Todo o efeito de calendário, mídia e mix entra no resultado |
Havendo escolha, o holdout aleatório vence com folga e não é perto. A segunda melhor opção, na prática, é o rollout escalonado, porque ele costuma já estar no plano de implantação e só exige que se registre com precisão a data de entrada de cada grupo. Diferenças em diferenças serve para recuperar uma estimativa quando a chance de experimentar foi perdida, e deve ser apresentada com esse nome — estimativa retrospectiva, não medição.
Perguntas frequentes
Dá para medir incrementalidade sem prejudicar quem está no holdout?
O grupo de controle continua recebendo tudo que já recebia antes da automação — comunicação padrão, atendimento, campanhas gerais. Ele não fica sem contato; fica sem o fluxo específico que está em teste. Essa distinção costuma resolver a objeção comercial.
Por quanto tempo o holdout precisa ficar no ar?
No mínimo um ciclo completo de compra do negócio, para não cortar conversões que ainda estavam em curso. Em varejo de recompra rápida isso pode ser algumas semanas; em B2B com ciclo longo, um trimestre inteiro é o piso.
E se o resultado der diferença negativa?
Acontece com mais frequência do que se admite, sobretudo em fluxos de alta frequência que aceleram descadastro. Diferença negativa com amostra adequada é informação de altíssimo valor: significa que o fluxo está custando dinheiro em dois lugares ao mesmo tempo.
O modelo de atribuição multi-toque resolve o problema?
Não. Modelos multi-toque distribuem crédito de forma mais elegante entre os pontos de contato, mas continuam repartindo conversões observadas. Nenhum deles observa o que teria acontecido sem o contato, que é justamente a informação que falta.
Vale reaproveitar o holdout para medir outros fluxos?
Só se o grupo estiver excluído de todos eles. Um holdout que não recebe o fluxo A mas recebe o B mede a diferença entre A e B, não o efeito de A. Operações maduras mantêm um holdout global pequeno e permanente, separado dos testes pontuais.
Deixe um comentário