A pergunta que mais chega a uma equipe de dados depois de uma campanha encerrada não é “quantas conversões a plataforma atribuiu”, e sim “quantas dessas vendas teriam acontecido de qualquer jeito”. A primeira tem resposta pronta no painel do anúncio. A segunda, que é a que interessa ao financeiro, quase nunca foi planejada: a campanha rodou para todo mundo, ao mesmo tempo, sem grupo de controle.
A diferença entre as duas respostas pode ser grande. Em campanhas de remarketing ou de busca pela própria marca, é comum que boa parte das conversões atribuídas viesse de pessoas que já estavam decididas a comprar. Quanto exatamente, varia muito por setor, por canal e por momento, e é justamente esse número que precisa ser estimado, e não presumido.
Este artigo propõe um framework em cinco etapas para chegar a uma estimativa defensável de incrementalidade mesmo sem experimento desenhado. Ele não substitui um teste controlado, e em cada etapa fica explícito onde está a incerteza.
Por que atribuição e incrementalidade respondem perguntas diferentes
Modelos de atribuição, sejam de último clique, baseados em dados ou de qualquer outra regra, distribuem o crédito das conversões que aconteceram entre os pontos de contato que vieram antes delas. Eles respondem “quem participou”. Nenhum deles responde “o que teria acontecido sem a campanha”, porque nenhum deles observa um cenário sem ela.
Incrementalidade é a diferença entre o resultado observado e esse contrafactual. Em termos formais:
Na prática, isso significa que a qualidade da análise depende menos da ferramenta e mais da escolha de como construir o contrafactual. As cinco etapas abaixo organizam essa escolha.
Etapa 1: definir a métrica de resultado e a unidade de análise
O primeiro erro comum é medir incrementalidade na métrica errada. Se o objetivo da campanha era receita, medir cliques ou sessões incrementais não responde a pergunta do negócio. A métrica precisa ser a mais próxima possível do resultado financeiro que se quer justificar: pedidos, receita líquida, novos clientes, cadastros qualificados.
A segunda decisão é a unidade de análise, ou seja, em que nível os dados serão agregados. As opções mais usadas são:
- Tempo: série diária ou semanal da métrica no total do negócio. É a mais simples, e a mais vulnerável a ruído.
- Geografia: a métrica por estado, região ou cidade. Útil quando a campanha teve intensidade diferente entre regiões.
- Segmento: a métrica por grupo de clientes ou canal. Útil quando parte da base não foi impactada por motivo operacional.
A escolha deve seguir uma pergunta: em que nível existe variação na exposição à campanha? Sem variação, não há o que comparar. Se a campanha rodou com a mesma intensidade em todo o país, a geografia não ajuda; se rodou só em parte das praças, ela é provavelmente a melhor fonte de evidência disponível.
Etapa 2: encontrar a variação natural que a campanha deixou
Mesmo campanhas sem grupo de controle costumam deixar variação não planejada. Encontrar essa variação é a etapa que mais influencia a qualidade da estimativa. As fontes mais frequentes são:
- Praças que ficaram de fora por restrição de orçamento, logística ou estratégia comercial.
- Diferença de intensidade: regiões que receberam muito mais investimento do que outras.
- Interrupções: dias ou semanas em que a campanha foi pausada por problema técnico, limite de orçamento ou reprovação de anúncio.
- Entrada escalonada: a campanha começou em datas diferentes em lugares diferentes.
- Segmentos não elegíveis: clientes que, por regra da plataforma ou da própria empresa, não podiam ser impactados.
Cada uma dessas fontes tem um viés possível, e ele deve ser registrado. Praças que ficaram de fora por “não serem prioritárias” provavelmente já vendiam menos e cresciam em ritmo diferente; uma pausa que coincidiu com um feriado mistura dois efeitos. O objetivo não é encontrar variação perfeita, e sim saber em que direção a imperfeição empurra o resultado.
Etapa 3: construir o contrafactual
Com a variação identificada, há três abordagens principais para estimar o que teria acontecido sem a campanha. A tabela resume quando cada uma se aplica e qual é o seu ponto fraco.
| Abordagem | Quando usar | Pré-requisito | Principal risco |
|---|---|---|---|
| Comparação antes e depois com tendência | Só existe a série total, sem grupos | Histórico longo e estável, com sazonalidade conhecida | Atribuir à campanha qualquer mudança simultânea de mercado |
| Diferença em diferenças | Há regiões ou segmentos expostos e não expostos | Os grupos andavam em paralelo antes da campanha | Tendências que já divergiam antes do início |
| Controle sintético | Poucas unidades expostas e várias não expostas | Período pré-campanha suficiente para calibrar pesos | Contrafactual que se ajusta bem no passado e erra no futuro |
A comparação antes e depois é a mais acessível e a menos confiável. Ela funciona razoavelmente quando a série é estável e a campanha gerou um degrau nítido, e falha quando há qualquer outro evento no mesmo período: mudança de preço, ação de concorrente, variação de estoque.
A diferença em diferenças compara a evolução das unidades expostas com a das não expostas. A premissa central é a de tendências paralelas: sem a campanha, os dois grupos teriam evoluído de forma semelhante. Essa premissa não pode ser provada, mas pode ser verificada no período anterior. Se as curvas já se afastavam antes, o método perde validade.
O controle sintético monta uma combinação ponderada de unidades não expostas que reproduza o comportamento da unidade exposta antes da campanha. Quando o ajuste no período anterior é bom, a projeção dessa combinação no período da campanha serve como contrafactual. Ferramentas de código aberto, como as bibliotecas de inferência causal em séries temporais disponíveis em R e Python, implementam variações dessa ideia.
Na prática, a recomendação é rodar mais de uma abordagem quando os dados permitem. Se duas abordagens com premissas diferentes chegam a estimativas próximas, a confiança aumenta. Se divergem muito, a divergência é, ela mesma, uma informação importante para o relatório.
Etapa 4: testar se o efeito encontrado não é ruído
Toda série de vendas oscila. Um efeito estimado de alguns pontos percentuais pode estar dentro da variação normal da métrica. Antes de reportar o número, três verificações reduzem o risco de confundir ruído com efeito:
- Teste placebo no tempo: aplicar o mesmo método a um período anterior em que não houve campanha. Se ele “encontra” um efeito parecido, o método está captando ruído.
- Teste placebo nas unidades: fingir que uma região não exposta foi a exposta e repetir a análise. A distribuição desses efeitos falsos mostra qual tamanho de efeito seria esperado só por acaso.
- Sensibilidade ao período: variar a janela pré-campanha usada para calibrar o modelo. Uma estimativa que muda muito com pequenas variações na janela é frágil.
Essas verificações também ajudam a definir o intervalo de incerteza. É mais honesto, e mais útil para a decisão, reportar “entre X e Y, com estimativa central em Z” do que um número único com várias casas decimais.
Etapa 5: traduzir o efeito em custo por resultado incremental
A estimativa de efeito só vira argumento de negócio quando é comparada ao investimento. A métrica que costuma fechar essa conversa é o custo por resultado incremental: o investimento da campanha dividido pelo número de conversões incrementais estimadas, e não pelo número de conversões atribuídas.
Um exemplo hipotético deixa a diferença clara. Suponha uma campanha de R$ 100 mil que a plataforma reporta como responsável por 2.000 pedidos, um custo por pedido de R$ 50. Se a análise de incrementalidade estimar que apenas 800 desses pedidos não teriam acontecido sem a campanha, o custo por pedido incremental passa a ser de R$ 125. Se a margem por pedido for de R$ 90, a mesma campanha que parecia lucrativa no painel passa a dar prejuízo.
Esse cálculo também deve carregar a incerteza da etapa anterior. Se o intervalo de pedidos incrementais vai de 500 a 1.100, o custo incremental vai de cerca de R$ 90 a R$ 200. Apresentar a faixa evita que a decisão seja tomada em cima de uma precisão que a análise não tem.
Como registrar a análise para que ela sobreviva à próxima reunião
Uma estimativa de incrementalidade feita a posteriori vai ser questionada, e deve ser. O que a torna defensável é a documentação das escolhas. Um registro mínimo inclui a métrica e a unidade escolhidas e por quê; a fonte de variação usada e o viés esperado; a abordagem de contrafactual e a premissa que ela exige; o resultado dos testes placebo; e a faixa final do efeito e do custo incremental.
O registro também serve para a próxima campanha. A conclusão mais útil de uma análise feita sem controle costuma ser o desenho de um teste com controle na próxima vez: reservar algumas praças, alternar períodos de veiculação ou usar os recursos de teste de incrementalidade que algumas plataformas de mídia oferecem. Uma análise retroativa bem feita é um bom argumento para nunca mais precisar dela.
Perguntas frequentes
A atribuição baseada em dados das plataformas não resolve isso?
Não. Ela redistribui o crédito entre os pontos de contato de forma mais sofisticada, mas continua trabalhando apenas com conversões que aconteceram. Ela não estima o que teria ocorrido sem a mídia.
Quantas semanas de histórico são necessárias antes da campanha?
Não há número fixo. Como referência, o período anterior precisa cobrir pelo menos um ciclo completo de sazonalidade relevante para o negócio. Séries com sazonalidade semanal forte pedem várias semanas; negócios com sazonalidade anual pedem idealmente mais de um ano.
Vale a pena fazer isso para campanhas pequenas?
Quanto menor a campanha em relação ao volume total do negócio, mais difícil distinguir o efeito do ruído. Para campanhas muito pequenas, a análise pode concluir apenas que o efeito não é detectável, o que também é uma informação útil para decidir se vale continuar investindo.
Deixe um comentário