Blog

Uma plataforma de automação de marketing com IA fecha o mês reportando que os fluxos automatizados geraram R$ 180 mil em receita atribuída. Na reunião seguinte, quase ninguém faz a pergunta que decide o orçamento do ano: quanto dessa receita não teria acontecido de qualquer maneira? Receita atribuída e ganho incremental são coisas diferentes, e a distância entre as duas costuma ser grande justamente nos fluxos que parecem melhores.

Este texto é sobre desenho de medição, não sobre escolha de ferramenta. O problema descrito aqui aparece igual em qualquer plataforma, porque ele não está no produto — está na forma como o número é calculado.

O que o painel mede e o que ele deixa de fora

A esmagadora maioria dos relatórios de automação usa atribuição por último toque dentro de uma janela — o clique ou a abertura mais recente antes da conversão, normalmente com janela de alguns dias. A regra é razoável para organizar o relatório. O problema é que ela responde a uma pergunta descritiva (“qual foi o último contato antes da compra?”) e é lida como se respondesse a uma pergunta causal (“essa mensagem causou a compra?”).

A distorção não é aleatória, e é aí que ela machuca. Fluxos automatizados são disparados por sinal de intenção: carrinho abandonado, visita repetida à página de preço, fim de trial, aniversário de contrato. São exatamente os usuários com maior probabilidade de comprar sem estímulo nenhum. A automação chega por último numa fila que já estava andando e leva o crédito da fila inteira.

Camadas de IA agravam o efeito em vez de corrigi-lo. Um modelo de propensão que escolhe quem receber a mensagem é treinado para identificar quem tem maior chance de converter — ou seja, é otimizado para selecionar pessoas cuja conversão seria mais provável de qualquer forma. Quanto melhor o modelo de propensão, mais inflada fica a receita atribuída e menor tende a ser a parcela realmente incremental. É um caso em que a métrica melhora enquanto o argumento piora.

Por que a sazonalidade contamina a comparação antes e depois

O segundo desenho mais comum é a comparação temporal: liga-se a automação em determinado mês e compara-se o trimestre seguinte com o anterior. O desenho parece limpo porque a base é a mesma. Não é.

Entre os dois períodos mudaram, no mínimo: o calendário comercial, o volume de mídia paga, o mix de canais de aquisição, a composição da base (quem entrou nos últimos noventa dias tem comportamento diferente de quem está há dois anos) e, com frequência, o preço. Em varejo, a diferença entre novembro e setembro basta para produzir sozinha uma variação de dois dígitos. Em B2B com ciclo trimestral, o último mês do trimestre carrega uma concentração de fechamentos que nada tem a ver com o fluxo de e-mail.

Há um agravante prático: automação quase nunca é ligada em momento neutro. Ela costuma ser ligada quando o time decidiu investir em crescimento — junto com mais verba de mídia, campanha nova e às vezes promoção. O antes e depois mede o pacote inteiro e credita o resultado ao componente mais fácil de instrumentar.

O desenho que isola o efeito: holdout aleatório

O único desenho que responde à pergunta causal sem depender de suposição forte é reservar aleatoriamente uma parte da base que não recebe a automação, e comparar os dois grupos no mesmo intervalo de tempo. Como os dois grupos atravessam a mesma Black Friday, a mesma greve dos Correios e o mesmo reajuste de preço, tudo que é sazonal se cancela.

O procedimento mínimo tem cinco etapas:

1. Definir a unidade de aleatorização. Normalmente o usuário; em operações com contas multiusuário, a conta, para evitar que duas pessoas da mesma empresa caiam em grupos diferentes.
2. Sortear antes de qualquer filtro de elegibilidade. O sorteio precisa acontecer sobre toda a base que poderia entrar no fluxo, não sobre quem o modelo já selecionou — caso contrário o viés de seleção volta pela porta dos fundos.
3. Congelar o grupo de controle por um período inteiro. Trocar quem está no holdout a cada campanha destrói a comparação, porque contamina o controle com exposição parcial.
4. Definir a métrica primária antes de olhar o resultado. Uma só: receita por usuário no período, ou taxa de conversão, ou retenção. As demais entram como secundárias e não decidem nada sozinhas.
5. Fixar a data de leitura. Olhar todo dia e parar quando dá significância é a forma mais rápida de transformar ruído em decisão.

Quanto de base reservar sem travar a operação

A pergunta que trava o projeto na prática costuma ser comercial: ninguém quer abrir mão de receita para medir. A resposta depende do tamanho do efeito que se quer detectar, e essa relação é pouco intuitiva — detectar um efeito pela metade do tamanho exige aproximadamente quatro vezes mais gente em cada grupo, não o dobro.

Isso tem uma consequência prática direta. Se a expectativa honesta de ganho é da ordem de poucos pontos percentuais sobre a taxa de conversão atual, o experimento precisa de dezenas de milhares de usuários por grupo para distinguir o efeito do ruído. Bases pequenas simplesmente não conseguem medir efeitos pequenos, e insistir produz um resultado inconclusivo caro. Os números exatos variam com a taxa de conversão de partida e com a variância do ticket — em receita por usuário, onde uma minoria de compradores grandes domina a média, a variância é alta e a amostra necessária cresce bastante.

Duas saídas honestas quando a base é pequena: rodar o holdout por mais tempo, acumulando volume, ou aceitar que só efeitos grandes serão detectáveis e declarar isso antes de começar. A saída desonesta é rodar com amostra insuficiente e apresentar a diferença observada como se fosse resultado.

Sobre o tamanho do holdout: reservar 10% da base costuma ser o ponto onde o custo de oportunidade é tolerável para o time comercial. Se a base for pequena, dividir meio a meio é estatisticamente muito mais eficiente e vale a negociação interna — a perda de receita durante um trimestre é menor do que o custo de manter por anos um fluxo que não funciona.

A conta do ganho incremental

Com o holdout rodando, a conta é subtração. O exemplo abaixo usa números redondos apenas para mostrar a mecânica; não é benchmark de nenhum setor.

O ganho incremental por usuário é R$ 1,20 — a diferença entre R$ 18,00 e R$ 16,80. Aplicado aos 90 mil expostos, dá cerca de R$ 108 mil de receita que não existiria sem a automação. O painel da ferramenta, nesse mesmo cenário, reportaria como receita atribuída algo próximo dos R$ 400 mil que passaram por algum toque do fluxo. A diferença entre os dois números não é erro da ferramenta: são perguntas diferentes.

Só o segundo número entra na conta de retorno. Contra ele se coloca o custo total: licença da plataforma, custo de inferência do modelo, horas de operação e de dados. Se o incremental não cobrir esse total com folga, o projeto está se pagando com receita que já era da casa.

Quando o holdout não é possível

Há casos legítimos em que reservar usuários não funciona: base muito pequena, canal que não permite exclusão individual, ou efeito de rede entre usuários que contamina o controle. As alternativas resolvem parcialmente e cada uma cobra um preço.

Havendo escolha, o holdout aleatório vence com folga e não é perto. A segunda melhor opção, na prática, é o rollout escalonado, porque ele costuma já estar no plano de implantação e só exige que se registre com precisão a data de entrada de cada grupo. Diferenças em diferenças serve para recuperar uma estimativa quando a chance de experimentar foi perdida, e deve ser apresentada com esse nome — estimativa retrospectiva, não medição.

Perguntas frequentes

Dá para medir incrementalidade sem prejudicar quem está no holdout?

O grupo de controle continua recebendo tudo que já recebia antes da automação — comunicação padrão, atendimento, campanhas gerais. Ele não fica sem contato; fica sem o fluxo específico que está em teste. Essa distinção costuma resolver a objeção comercial.

Por quanto tempo o holdout precisa ficar no ar?

No mínimo um ciclo completo de compra do negócio, para não cortar conversões que ainda estavam em curso. Em varejo de recompra rápida isso pode ser algumas semanas; em B2B com ciclo longo, um trimestre inteiro é o piso.

E se o resultado der diferença negativa?

Acontece com mais frequência do que se admite, sobretudo em fluxos de alta frequência que aceleram descadastro. Diferença negativa com amostra adequada é informação de altíssimo valor: significa que o fluxo está custando dinheiro em dois lugares ao mesmo tempo.

O modelo de atribuição multi-toque resolve o problema?

Não. Modelos multi-toque distribuem crédito de forma mais elegante entre os pontos de contato, mas continuam repartindo conversões observadas. Nenhum deles observa o que teria acontecido sem o contato, que é justamente a informação que falta.

Vale reaproveitar o holdout para medir outros fluxos?

Só se o grupo estiver excluído de todos eles. Um holdout que não recebe o fluxo A mas recebe o B mede a diferença entre A e B, não o efeito de A. Operações maduras mantêm um holdout global pequeno e permanente, separado dos testes pontuais.

Qual porcentagem do tráfego do seu site já vem de respostas geradas por IA? Se a resposta honesta for “não sei separar isso no relatório”, esse é o verdadeiro ponto de partida — e é também a razão pela qual o debate sobre “otimizar para IA” anda girando em falso desde o ano passado.

A tese que circula em praticamente toda apresentação comercial de ferramenta é simples: o SEO acabou, agora existe uma disciplina nova, com regras próprias, e quem não migrar some. A tese oposta, defendida por parte dos times técnicos, é igualmente simples: não mudou nada, continue fazendo bem feito o que já fazia. Nenhuma das duas sobrevive a uma medição cuidadosa. O que muda é real, mas está em um lugar diferente de onde o discurso aponta.

O que a evidência disponível permite afirmar hoje

Os sistemas de resposta generativa — tanto os assistentes independentes quanto os resumos que aparecem no topo da busca — funcionam em duas camadas separadas. A primeira recupera documentos; a segunda redige uma resposta a partir deles. Essa separação não é um detalhe de arquitetura: é o eixo de tudo o que vem a seguir.

A camada de recuperação depende de o conteúdo existir, estar acessível a um rastreador e ser recuperável por uma consulta. Isso é, em essência, o mesmo conjunto de exigências que a busca tradicional impõe há duas décadas. Página que o rastreador não alcança não entra em índice nenhum — nem no da busca, nem no da base que alimenta o gerador.

A camada de geração é onde a diferença mora. Ela não escolhe uma página para exibir: ela escolhe trechos para costurar. Um documento pode ser recuperado, ter uma frase aproveitada e nunca gerar clique. Do ponto de vista da recuperação, foi um sucesso. Do ponto de vista do relatório de sessões, não aconteceu nada.

Onde a narrativa do “SEO acabou” quebra

O argumento comercial costuma sustentar que existe uma técnica nova de escrita que faz o modelo escolher o seu conteúdo. Na prática, o que se observa nos testes que dá para reproduzir em casa é bem menos glamouroso: o que aumenta a chance de ser recuperado continua sendo cobertura de tema, clareza de definição, dado verificável e estrutura que permita extrair uma afirmação isolada do parágrafo.

Isso descreve conteúdo bom. Descrevia conteúdo bom antes também. A diferença é que a busca tradicional tolerava razoavelmente bem uma página que respondia mal mas tinha autoridade acumulada, enquanto o gerador precisa de uma frase que se sustente sozinha, fora do contexto do artigo. Página que só faz sentido lida inteira tende a ser ignorada na hora de montar a resposta.

Há um segundo ponto que raramente aparece nas apresentações: o comportamento varia muito entre assistentes. Alguns priorizam fontes com histórico consolidado; outros priorizam frescor; outros ainda dependem fortemente do índice de um buscador terceiro. Otimizar “para IA” no singular é uma abstração — o comportamento é plural e instável entre versões.

O que muda de verdade: a unidade de resultado

A mudança concreta não é de técnica de conteúdo. É de unidade de medida. O SEO clássico organizava tudo em torno de uma cadeia previsível: impressão gera clique, clique gera sessão, sessão gera conversão. Essa cadeia continua existindo, mas passou a conviver com um caminho paralelo em que a impressão acontece dentro de uma resposta que o usuário lê sem sair de onde está.

Para quem vende produto de ticket baixo e decisão rápida, isso é perda direta. Para quem vende produto de ciclo longo, é mais ambíguo: a marca aparece na fase de pesquisa, o usuário não clica ali, e volta duas semanas depois por busca direta pelo nome. Esse retorno aparece no relatório como tráfego direto ou de marca, sem qualquer vínculo com a citação que o originou. É por isso que muita queda de tráfego orgânico atribuída a “IA” vem acompanhada de alta em busca por marca — e ninguém conecta as duas linhas.

Vale nomear o efeito colateral dessa mudança de unidade: a taxa de clique deixou de ser um indicador limpo de qualidade da página. Antes, título fraco derrubava a taxa de clique e título forte a recuperava, e a leitura era direta. Hoje, a mesma consulta pode ter perdido metade do clique porque ganhou um resumo no topo, sem que nada na sua página tenha piorado. Times que continuam otimizando título contra uma linha de taxa de clique em queda estão perseguindo uma variável que saiu do controle deles — e queimando ciclos de teste em cima de ruído. O teste de sanidade é simples: se a queda de clique é homogênea entre todas as posições e todas as páginas de um mesmo tipo de consulta, a causa é do formato do resultado, não da sua redação.

SEO clássico e otimização para resposta gerada, lado a lado

A leitura da tabela é o argumento central deste texto: cinco das seis linhas descrevem diferenças de medição e exibição, não de produção de conteúdo. Quem trata isso como uma disciplina nova está reorganizando o time em torno de um problema de instrumentação.

Como medir sem inventar métrica nova

A instrumentação mínima cabe em quatro movimentos, e nenhum deles exige ferramenta que não esteja na sua casa.

1. Separe o tráfego de referência vindo de assistentes. Os domínios de origem desses produtos são poucos e conhecidos; um segmento fixo no seu analytics isola essa fatia e passa a mostrar volume e conversão dela em vez de diluí-la no “direto”.
2. Acompanhe a série de busca por marca. Se o orgânico não-marca cai e o de marca sobe no mesmo período, o mais provável é deslocamento de etapa, não perda de demanda.
3. Monte um painel de consultas de referência. Escolha entre vinte e cinquenta perguntas que descrevem a decisão do seu cliente, rode manualmente uma vez por mês nos assistentes que importam para o seu público, e registre apenas duas colunas: houve citação, e de quem. É trabalho braçal, e é o único dado confiável que existe hoje sobre esse canal.
4. Compare taxa de clique por tipo de consulta. Consultas de definição e de “o que é” tendem a perder clique com resumo no topo; consultas transacionais e de comparação de preço tendem a resistir. Se a queda estiver concentrada no primeiro grupo, o diagnóstico já está pronto.

Sobre ordens de grandeza: a fatia de sessões vinda diretamente de assistentes ainda é pequena na maioria dos sites brasileiros que dá para observar — tipicamente de um a poucos por cento do orgânico, com enorme variação por setor. O efeito relevante hoje não é o tráfego que chega por ali; é o clique que deixa de acontecer na busca. Esse segundo número é maior e muito mais difícil de isolar, porque só aparece como taxa de clique caindo com impressão estável.

A decisão prática, com o custo na mesa

Diante do quadro acima, a posição defensável é esta: não monte um time separado de “otimização para IA”. Trate o assunto como uma extensão da operação de conteúdo existente, com três ajustes.

O primeiro é editorial: cada peça precisa conter afirmações que se sustentem fora do parágrafo. Definição fechada, número com a origem colada nele, critério de escolha explícito. Isso melhora o conteúdo para o leitor humano também, o que torna o custo do ajuste próximo de zero.

O segundo é de portfólio: aceitar que páginas puramente definicionais vão perder clique de forma estrutural e parar de investir nelas como se fossem porta de entrada. Elas continuam úteis para cobertura de tema, mas o retorno delas migrou de sessão para presença.

O terceiro é de relatório: mudar a meta do time. Enquanto o indicador principal for sessão orgânica, qualquer conteúdo que gere citação sem clique aparece como fracasso, e o time vai naturalmente parar de produzi-lo. Se você acredita que presença em resposta gerada importa, ela precisa existir como linha no painel — mesmo medida à mão, mesmo com amostra pequena.

O erro caro aqui não é ignorar o canal. É reorganizar orçamento e equipe com base em uma métrica que ninguém no mercado consegue auditar, vendida por quem também vende a ferramenta que promete otimizá-la.

Perguntas frequentes

Dados estruturados aumentam a chance de o meu conteúdo ser citado?

Ajudam a delimitar qual é a afirmação da página e facilitam a extração, mas não há garantia observável de que a presença do marcador aumente a citação. Vale manter pela função original — exibição no resultado de busca — e tratar qualquer ganho na resposta gerada como efeito colateral, não como objetivo.

Bloquear rastreadores de IA protege o meu conteúdo?

Protege do uso, e ao mesmo tempo elimina a chance de citação. É uma decisão de negócio, não técnica: faz sentido para quem monetiza acesso ao conteúdo em si, e costuma ser prejudicial para quem usa conteúdo para gerar demanda. Decida pela fonte de receita, não pelo princípio.

Dá para saber quantas vezes minha marca foi citada sem rodar consulta manual?

Existem ferramentas que se propõem a isso, e todas trabalham por amostragem de consultas — nenhuma tem acesso ao volume real. São úteis para tendência, e não para número absoluto. Cobre de qualquer fornecedor a metodologia de amostragem antes de aceitar o número.

Publicar mais conteúdo aumenta a presença em respostas geradas?

Aumenta a superfície de recuperação, o que ajuda até certo ponto. Mas volume sem profundidade tende a produzir páginas que não têm nenhuma afirmação forte o suficiente para ser aproveitada. Entre dobrar o número de textos e melhorar a densidade dos que já existem, o segundo caminho tem se mostrado mais eficiente para esse fim específico.

Uma pergunta antes de qualquer ajuste: qual porcentagem das perguntas reais chega ao modelo já com o trecho correto dentro do contexto? Quem não tem esse número não está otimizando um assistente — está ajustando prompt no escuro e esperando que a média suba.

É o cenário mais comum em projetos de RAG que passam da prova de conceito. O time monta um conjunto de trinta perguntas, roda, vê acerto alto, libera para a área de negócio. Duas semanas depois chega o relato de que o assistente inventa procedimento, cita política revogada e responde com segurança sobre coisas que não existem. E a discussão vira sobre trocar de modelo, quando o problema quase nunca está ali.

Uma métrica agregada esconde duas falhas com causas opostas

Acurácia de resposta é uma métrica de saída. Ela mistura, num número só, duas etapas que falham por motivos diferentes e se corrigem com intervenções diferentes.

A primeira é a recuperação: dada a pergunta, o sistema encontrou e colocou no contexto o trecho que continha a informação. A segunda é a geração: tendo o trecho em mãos, o modelo produziu uma resposta fiel ao que estava escrito.

Quando as duas etapas são medidas juntas, cada queda de acurácia comporta pelo menos quatro histórias distintas — o trecho não existe no acervo, existe mas não foi recuperado, foi recuperado mas ficou soterrado entre passagens irrelevantes, ou chegou íntegro e o modelo respondeu outra coisa. As quatro exigem times, prazos e orçamentos diferentes. Tratar todas com engenharia de prompt é o desperdício mais frequente nesse tipo de projeto.

O teto de recuperação, e por que ele define o resto

Existe um número que limita todos os outros. Se o trecho correto entra no contexto em, digamos, 70% das perguntas, então 70% é o teto de acurácia final do sistema. Nas outras 30% o modelo está sendo convidado a responder sem a informação — e o comportamento esperado ali é recusar, não acertar.

Esse raciocínio inverte a ordem natural das tentativas. A maioria dos times começa pela camada mais visível — o prompt — porque é a mais barata de mexer. Só que a camada mais barata de mexer é também a que tem menos margem quando o teto está baixo. Vale medir o teto primeiro e só depois decidir onde investir.

O teste do oráculo: quinze minutos que localizam a falha

Há um experimento simples que separa as duas etapas sem instrumentação sofisticada. Pegue as perguntas que o sistema errou. Para cada uma, localize manualmente o trecho correto na documentação e cole esse trecho no contexto, ignorando a busca. Rode a geração de novo.

A leitura do resultado é direta:

1. O modelo passa a acertar com o trecho colado. A falha é de recuperação. Prompt não é o problema, e mexer nele vai consumir semanas sem mover o indicador.
2. O modelo continua errando mesmo com o trecho correto no contexto. A falha é de geração — instrução ambígua, contexto longo demais, conflito entre o que o documento diz e o que o modelo já sabia, ou pergunta que exige combinar duas fontes.
3. O trecho correto não existe no acervo. Não é um problema de IA. É um problema de documentação, e nenhuma camada técnica resolve.

Esse terceiro caso costuma responder por uma fatia maior do que os times esperam quando o acervo veio de wiki interna acumulada por anos. Vale conferir antes de abrir qualquer ticket de engenharia.

Duas variações do teste rendem informação adicional por pouco esforço. A primeira é repetir a geração com o trecho correto sozinho no contexto e depois com o trecho correto misturado às passagens que a busca havia trazido. Se o acerto aparece no primeiro caso e some no segundo, o problema não é nem busca nem modelo — é ruído de contexto, e a correção passa por reordenação. A segunda é rodar a mesma pergunta reescrita com as palavras que a documentação usa, em vez das palavras que o usuário usou. Quando isso resolve, o desencontro é de vocabulário, e reescrita de consulta ou busca por termo entram na lista de intervenções antes de qualquer coisa mais cara.

As quatro métricas que substituem a média única

Para acompanhar o sistema ao longo do tempo, quatro indicadores dão conta e se calculam sem ferramenta paga:

1. Recall@k — em que porcentagem das perguntas o trecho-âncora anotado aparece entre os k documentos recuperados. É o teto descrito acima.
2. Precisão do contexto — que fração do que entrou no contexto era de fato relevante. Precisão baixa com recall alto significa que o trecho certo está lá, cercado de ruído, e o problema é de ordenação, não de busca.
3. Fidelidade ao contexto — que fração das afirmações da resposta é sustentada por alguma passagem recuperada. É a métrica que captura alucinação de forma auditável, porque cada afirmação pode ser rastreada até um trecho ou até a ausência dele.
4. Taxa de recusa apropriada — com que frequência o sistema diz que não sabe quando o contexto realmente não continha a resposta. Esse indicador costuma ser esquecido, e é o que separa um assistente confiável de um que responde bonito sobre qualquer coisa.

Um conjunto de avaliação de algumas dezenas a poucas centenas de perguntas reais, cada uma com o trecho-âncora anotado por alguém da área, já entrega leitura estável. O que muda o resultado não é o tamanho do conjunto — é a origem das perguntas. Conjunto escrito pelo time de engenharia mede o sistema contra a linguagem da engenharia, que não é a linguagem de quem usa.

Sintoma, etapa provável e teste correspondente

Na prática, a leitura desses quatro indicadores fica mais rápida quando o ponto de partida é o sintoma relatado pelo usuário. A tabela abaixo faz esse caminho inverso — do que se ouve na reclamação até a medição que confirma ou descarta a hipótese.

Duas crenças que consomem orçamento sem mover indicador

A primeira é a de que ampliar a janela de contexto resolve recuperação ruim. Enfiar cinquenta passagens no contexto porque a busca não é confiável aumenta o custo por chamada, aumenta a latência e piora a precisão do contexto. Modelos tendem a dar menos peso ao que está no meio de contextos longos, então a passagem correta pode estar presente e ainda assim ser ignorada. Reordenar bem dez passagens costuma render mais do que despejar cinquenta.

A segunda é a de que trocar o modelo de geração é a alavanca principal. Modelo melhor ajuda quando a falha é de geração — raciocínio sobre duas fontes, síntese, obediência a formato. Quando a falha é de recuperação, o modelo mais caro do mercado continua respondendo sobre um contexto que não tem a informação, e o ganho fica na margem de erro da medição.

Há ainda uma terceira crença, mais discreta: a de que ajuste fino do modelo ensina o conhecimento da empresa e dispensa a recuperação. Ajuste fino é eficiente para formato, tom e obediência a instrução, e ineficiente como forma de armazenar fato que muda. Acervo corporativo é revisado, revogado e substituído — e cada revisão exigiria treinar de novo, com custo recorrente e sem rastreabilidade. Quando alguém pergunta de onde saiu determinada resposta, um sistema baseado em recuperação aponta o documento; um modelo ajustado aponta para si mesmo. Em contexto sujeito a auditoria, essa diferença costuma valer mais do que qualquer ponto percentual de acurácia.

Ordem de intervenção, do mais barato ao mais caro

Havendo teto de recuperação baixo, a sequência que costuma render mais por hora investida é esta. Primeiro, higiene do acervo: eliminar duplicata, marcar vigência, retirar o que está revogado. É trabalho de conteúdo, não de engenharia, e frequentemente é o que devolve mais pontos de recall.

Depois, revisar fragmentação e metadados — respeitar limite de seção, manter tabela inteira em um mesmo bloco, carimbar área, produto e data em cada trecho para permitir filtro antes da busca. Em seguida, busca híbrida, combinando busca vetorial com busca por termo. Vocabulário interno, sigla e código de produto costumam ser mal representados em embedding genérico, e é justamente isso que o usuário digita.

Só então entram reordenador dedicado e ajuste de prompt com exigência de citação de trecho. Ajuste fino do modelo fica por último, e na maioria dos casos corporativos não chega a ser necessário — quando chega, é para formato e tom, raramente para conhecimento.

Se fosse preciso escolher uma única mudança para um assistente interno que já está em produção e decepciona, a escolha seria a busca híbrida com filtro por metadado de vigência. É a intervenção que ataca ao mesmo tempo o vocabulário interno e o problema de documento velho, que juntos explicam boa parte dos erros relatados pelo usuário final.

Perguntas frequentes

Quantas perguntas o conjunto de avaliação precisa ter?

Algumas dezenas já revelam padrão; algumas centenas dão estabilidade para comparar versões. Prioridade absoluta para perguntas extraídas de log real, não escritas pelo time técnico.

Dá para medir fidelidade sem revisão manual?

Dá, usando um modelo como avaliador que verifica cada afirmação contra o contexto. Vale calibrar o avaliador contra uma amostra revisada por pessoa antes de confiar no número em série.

Qual valor de k usar na recuperação?

Depende do tamanho do bloco e do custo aceitável. O método é medir recall@k para valores crescentes e parar onde a curva achata — aumentar k depois desse ponto adiciona ruído sem adicionar informação.

Busca vetorial pura nunca basta?

Basta quando o vocabulário do usuário se parece com o do documento e não há sigla nem código proprietário. Em base corporativa isso é raro, e o teste de recall com perguntas reais mostra a diferença em poucas horas.

Com que frequência reavaliar?

A cada alteração relevante no acervo e a cada troca de componente do pipeline. Acervo vivo degrada recuperação em silêncio, e sem reavaliação periódica a queda só aparece na reclamação do usuário.

Uma pergunta resolve mais projeto de inteligência artificial do que a escolha da arquitetura do modelo: quantos registros da base têm, ao mesmo tempo, o rótulo correto, as variáveis preenchidas e a garantia de que essas variáveis já existiam no instante em que a decisão precisava ser tomada? Em auditorias de base feitas antes de projetos de classificação, esse número costuma ficar bem abaixo do total que aparece no relatório do banco. Quedas de metade ou mais são comuns quando os três filtros são aplicados juntos — a magnitude varia bastante por setor e por maturidade de coleta, então trate isso como padrão observado, não como percentual fechado.

O framework abaixo é uma sequência de cinco verificações, cada uma com um número de saída. A ordem importa: cada etapa reduz a base que a seguinte examina, e parar na etapa 2 com uma base já inviável economiza semanas de engenharia de features sobre dados que não sustentariam o resultado.

Etapa 1 — Cobertura efetiva: quantas linhas o modelo vai realmente ver

A primeira medição separa registros existentes de registros utilizáveis. Um pedido de crédito arquivado há seis anos existe na tabela, mas se o formulário mudou de campos em 2024, ele não contribui com as mesmas variáveis dos pedidos recentes. O procedimento é simples e quase sempre revelador:

1. Conte o total bruto de registros no período que interessa. Defina o período pela estabilidade do processo, não pela disponibilidade do dado — se a regra de negócio mudou, o corte é ali.
2. Aplique o filtro de completude por variável obrigatória. Para cada campo que o modelo vai usar, meça o percentual de preenchimento; qualquer variável abaixo de 70% de preenchimento é candidata a ser cortada ou tratada como categoria própria.
3. Meça a interseção, não a média. Este é o erro mais frequente da etapa. Cinco variáveis com 90% de preenchimento cada não produzem uma base 90% completa: se as ausências forem independentes, sobram cerca de 59% dos registros com todas as cinco preenchidas. Na prática as ausências são correlacionadas e o número real fica em algum ponto entre 59% e 90%, mas quase nunca perto do topo.

O mercado tende a tratar dado faltante como problema de imputação. Em boa parte dos casos, ausência não é ruído — é sinal. Um campo de renda vazio pode significar que o analista não perguntou porque já tinha decidido negar. Imputar a mediana ali destrói informação e infla artificialmente a performance de treino.

Etapa 2 — Procedência do rótulo: quem decidiu que aquilo é verdade

Modelo supervisionado aprende a reproduzir um rótulo. Se o rótulo foi gerado por um processo enviesado, o modelo aprende o viés com eficiência exemplar. A auditoria de rótulo responde três perguntas antes de qualquer treino.

Quem produziu o rótulo? Rótulo automático (o cliente cancelou ou não cancelou) tem procedência diferente de rótulo humano (o analista marcou como fraude). O segundo carrega a subjetividade e a carga de trabalho de quem marcou. Se três analistas rotularam a base e um deles marcou 40% mais casos positivos que os outros dois, existe uma variável oculta chamada “quem analisou” que o modelo vai capturar.

O rótulo é observável para todos os registros? Aqui mora o viés de seleção mais caro de projetos de crédito e de triagem. Só se sabe se um cliente pagaria se ele recebeu o crédito. A base de treino contém apenas quem passou pelo filtro anterior — e o modelo treinado nela extrapola para uma população que nunca observou. Não há solução puramente estatística; a mitigação envolve reservar uma fatia de decisões aleatórias para gerar rótulo em toda a distribuição, com o custo que isso implica.

Qual a taxa de concordância entre rotuladores? Onde houver julgamento humano, rotule uma amostra em duplicata. Concordância abaixo de 80% em tarefa binária significa que o teto de acurácia do modelo já está definido pela inconsistência do rótulo, e nenhuma arquitetura vai passar disso.

Etapa 3 — Vazamento temporal: o dado existia no momento da decisão?

Esta é a etapa que mais frequentemente explica o modelo que acerta 94% em validação e desaba em produção. A verificação é conceitualmente trivial e operacionalmente trabalhosa: para cada variável, determine o carimbo de tempo em que aquele valor ficou disponível e compare com o carimbo do momento da inferência.

Os vazamentos mais comuns não são grosseiros. Ninguém coloca a variável alvo entre as features por descuido. O que acontece é mais sutil:

• Campo atualizado no lugar de versionado. A tabela de cadastro guarda o status atual do cliente, não o status na data do pedido. Se o campo “situação cadastral” foi sobrescrito depois do evento, ele já contém o desfecho.
• Agregado com janela mal fechada. “Média de compras nos últimos 90 dias” calculada com corte na data de extração, e não na data de cada evento, contamina todos os registros antigos com informação futura.
• Dado de terceiro com atraso de entrega. Um score externo pode existir na base com data de referência de segunda-feira, mas só chegar ao sistema na quinta. Em produção ele não estará lá no momento da decisão.

O teste prático que revela quase todos: treine o modelo, ordene as features por importância e examine as três primeiras. Se alguma delas explica muito mais do que o especialista de negócio esperava, o cenário mais provável não é que o modelo descobriu algo — é vazamento.

Etapa 4 — Aderência à distribuição de produção

A base histórica descreve o passado do processo. O modelo vai operar sobre o presente. Quanto essas duas distribuições diferem determina quanto da performance medida em validação vai sobreviver.

A verificação mínima compara, variável a variável, a distribuição da base de treino com a de uma janela recente de produção — os últimos 30 a 60 dias, tipicamente. Para variáveis numéricas, compare os quartis; para categóricas, compare a frequência relativa das dez categorias mais comuns. Diferenças grandes em variáveis de alta importância exigem decisão explícita: reponderar a base, encurtar o período de treino ou aceitar que o modelo precisará de retreino frequente.

Vale medir também a estabilidade do próprio processo. Se a política comercial mudou em março, dados de janeiro descrevem outro fenômeno. Uma base de três anos que atravessa duas mudanças de política costuma render menos que uma base de dez meses sob regra estável — e essa é uma troca que o time de dados precisa fazer conscientemente, não por acidente.

Etapa 5 — Custo assimétrico do erro e a métrica que decorre dele

A última etapa não olha o dado, olha a decisão. Antes de escolher a métrica de avaliação, é preciso estimar o custo de um falso positivo e o de um falso negativo em unidade comparável — reais, horas de analista, chamados abertos. Sem isso, a discussão sobre limiar de corte vira preferência estética.

Quando os custos são assimétricos — e quase sempre são —, acurácia deixa de significar qualquer coisa. Num problema com 2% de eventos positivos, um modelo que responde “não” para tudo entrega 98% de acurácia e valor zero. A métrica útil nesse cenário é precisão em uma taxa de recall fixada pela capacidade operacional: se a equipe consegue analisar 200 casos por dia, o que importa é a precisão nos 200 casos de maior score, não a área sob a curva.

A recomendação, quando há discordância no time: fixe a métrica pela restrição operacional antes de treinar. Escolher a métrica depois de ver os resultados é o caminho mais curto para justificar um modelo que não resolve o problema.

Como pontuar as cinco etapas e decidir

Cada etapa produz um veredito. A tabela abaixo resume o critério de corte que costuma funcionar como ponto de partida — os limiares devem ser calibrados por contexto, mas servem para tirar a decisão do campo da opinião.

A etapa 3 é a única que funciona como bloqueio absoluto. As outras quatro admitem projeto com ressalva documentada. Vazamento temporal, não: um modelo com vazamento produz um número de performance que não descreve nada e cria expectativa que a operação vai cobrar depois.

Atualmente, com o custo de treinar modelos caindo e a barreira técnica diminuindo, o gargalo dos projetos migrou de forma bem clara da modelagem para a base. Rodar essas cinco verificações consome tipicamente de uma a três semanas de trabalho de um analista com acesso ao dado e a um especialista de negócio. É o investimento com melhor retorno em um projeto de IA aplicada, porque é o único que impede que os meses seguintes sejam gastos otimizando uma métrica que não descreve o problema real.

Perguntas frequentes

Qual o volume mínimo de dados para treinar um modelo? Não existe número universal, e a pergunta melhor formulada é sobre a classe minoritária. Para classificação binária tabular, o gargalo costuma ser a quantidade de exemplos positivos, não o total de linhas. Poucas centenas de casos positivos já permitem um modelo simples com validação honesta; alguns milhares abrem espaço para modelos mais expressivos. Abaixo disso, uma regra de negócio bem calibrada tende a competir de igual para igual — e é mais fácil de auditar.

Dá para pular a auditoria e testar direto em produção com uma fatia pequena? Testar em produção é útil, mas não substitui as etapas 2 e 3. Um teste A/B com rótulo enviesado ou com vazamento vai medir a coisa errada com mais precisão. A auditoria e o teste controlado são complementares: a primeira garante que a métrica significa algo, o segundo mede o efeito real.

Como convencer a diretoria de que a base não está pronta? Com o número da etapa 1. A frase “os dados precisam melhorar” não move orçamento; “temos 41 mil pedidos na base, mas 6,8 mil com todas as variáveis preenchidas na data da decisão, e destes 380 são casos positivos” muda a conversa, porque transforma um julgamento técnico em uma restrição contável.

Modelos de linguagem grandes dispensam esse tipo de auditoria? Dispensam a etapa de rotulagem em massa quando usados sem ajuste fino, mas herdam versões próprias das outras quatro. Cobertura vira qualidade e completude dos documentos recuperados; vazamento vira contaminação do conjunto de avaliação; aderência de distribuição vira diferença entre as perguntas testadas e as perguntas reais dos usuários; e o custo assimétrico do erro continua sendo a decisão que define qual limiar de confiança justifica responder em vez de encaminhar para um humano.

A pergunta que sustenta quase todo projeto de assistente de IA em atendimento é simples de enunciar e difícil de responder: quanto custava atender um cliente antes e quanto custa agora. O indicador que a maioria das empresas leva para a reunião de resultado é a taxa de contenção — o percentual de conversas que o assistente encerrou sem transbordar para um humano. Uma contenção de 60% soa como economia de 60%. Quase nunca é.

A contenção mede desvio de volume, não custo. Ela ignora o que acontece depois: o cliente que volta duas horas mais tarde pelo mesmo motivo, a conversa que chegou ao humano já degradada e demorou mais para resolver, o custo de inferência que subiu quando o time trocou o modelo por um mais capaz. Um assistente pode conter 60% das conversas e deixar o custo por resolução exatamente onde estava. Este texto descreve como montar a medição que separa um caso do outro.

Por que a taxa de contenção engana com tanta frequência

Contenção costuma ser definida como conversas encerradas no assistente sobre conversas totais. O problema mora nos dois lados da fração.

No numerador, “encerrada” quase sempre significa “o cliente parou de responder”. Abandono e resolução produzem exatamente o mesmo evento no log. Quem desiste e vai para o telefone, para o e-mail ou para a loja física entra na conta como sucesso. Em operações que já mediram isso com rastreamento de reincidência, a fatia de conversas contidas que reaparece em outro canal em até 72 horas costuma ficar na casa de dois dígitos — o número varia muito por setor e por qualidade do roteamento, mas raramente é desprezível o bastante para ser ignorado.

No denominador, o assistente muda o próprio volume que está medindo. Quando o atendimento fica instantâneo e disponível de madrugada, o cliente pergunta mais. Contatos que antes não aconteciam passam a acontecer. Isso é bom para experiência e péssimo para comparação: a base de conversas do mês 6 não é a mesma base do mês 1, e dividir custo pelo total de conversas produz uma queda artificial que não corresponde a nenhum real a menos na despesa.

A correção é trocar a unidade de análise. Não conte conversas. Conte problemas resolvidos.

Defina a unidade de custo antes de comparar qualquer coisa

Uma resolução é um problema do cliente que foi encerrado e não voltou dentro de uma janela definida. Os três parâmetros dessa definição precisam ser fixados por escrito antes da primeira medição, porque mexer neles depois permite provar qualquer coisa:

1. A janela de reincidência. Sete dias funciona bem para a maioria dos casos de suporte transacional. Para cobrança, faturamento e qualquer assunto com ciclo mensal, use trinta dias — reincidência de fatura não aparece em sete.
2. A chave de agrupamento. Duas conversas do mesmo cliente sobre o mesmo assunto dentro da janela são uma resolução, não duas. Sem essa regra, o assistente que devolve o cliente três vezes aparece nos números como três atendimentos bem-sucedidos.
3. O escopo de canal. Se o cliente que desiste do chat liga no dia seguinte, essa ligação pertence à mesma resolução. Medir só dentro do canal onde o assistente vive é o erro mais caro da lista, porque esconde exatamente o custo que o assistente está gerando.

Com a unidade definida, o cálculo fica direto: custo por resolução é a soma de todas as despesas de atendimento do período dividida pelo número de resoluções únicas do período. É esse número, e só ele, que precisa cair.

O custo que não aparece na fatura do modelo

A conta de inferência é a parte visível e normalmente a menor. Quando se soma o custo total, a fatura do provedor de modelo costuma responder por uma fração modesta do gasto do projeto — a maior parte está em trabalho humano que ninguém contabiliza como custo de IA. Os itens que precisam entrar na soma:

O quinto item merece atenção separada. Existe uma suposição confortável de que o assistente entrega ao humano uma conversa pré-qualificada, com contexto pronto, e portanto mais rápida de resolver. Acontece o contrário com frequência suficiente para justificar medição: o cliente chega ao humano já irritado, repetindo informação que julgava ter dado, e o atendente gasta os primeiros minutos desfazendo o que o assistente entendeu errado. Compare o tempo médio de atendimento das conversas transbordadas com o das conversas que entraram direto na fila humana. Se o transbordo demora mais, parte da economia de volume está sendo devolvida em minutos.

Como isolar o efeito do assistente do resto da operação

Comparar o mês anterior com o mês atual não prova nada. Atendimento tem sazonalidade forte, campanhas de marketing mudam o mix de contatos, uma falha de produto pode inflar o volume por duas semanas, e mudanças de política de reembolso alteram tempo de resolução sem que ninguém do time de IA saiba.

O desenho que resolve isso é o mais simples: mantenha uma fatia do tráfego fora do assistente. Um grupo de controle de 10% a 20% dos contatos, sorteado no momento da entrada e roteado direto para o fluxo humano, dá a linha de base contra a qual o restante é comparado. Rode por pelo menos quatro semanas — abaixo disso o ruído semanal domina o resultado.

Duas armadilhas de execução aparecem sempre. A primeira é sortear por cliente e não por conversa: se o mesmo cliente cai ora no controle, ora no tratamento, a atribuição de reincidência fica ambígua. Sorteie por cliente e mantenha a alocação estável durante todo o período. A segunda é deixar o grupo de controle ser atendido por um subconjunto diferente de atendentes — normalmente os mais experientes, porque a fila é menor. Isso contamina a comparação inteira.

Quando o controle aleatório não é viável — operações pequenas, ou casos em que negar o assistente a um grupo é politicamente impossível — a alternativa aceitável é o corte geográfico ou por linha de produto, com uma janela pré-lançamento longa o suficiente para caracterizar a diferença estrutural entre os grupos antes da intervenção. É pior que o sorteio, e o resultado deve ser apresentado como estimativa com margem, não como número fechado.

Sete campos que sustentam o cálculo inteiro

A medição não exige ferramenta nova. Exige que o log de cada conversa carregue os campos certos desde o primeiro dia, porque reconstruir isso depois é caro e frequentemente impossível. O mínimo viável:

1. ID do cliente — estável entre canais, não o ID da sessão. Sem isso não existe cálculo de reincidência.
2. Grupo experimental — controle ou tratamento, gravado na conversa e não inferido depois.
3. Intenção classificada — o assunto, em um vocabulário fechado. É a chave que agrupa conversas na mesma resolução.
4. Desfecho — resolvido pelo assistente, transbordado, ou abandonado, com abandono registrado como categoria própria e nunca somado a resolvido.
5. Tempo humano consumido — minutos de atendente, separando conversas transbordadas das nativas da fila.
6. Custo de inferência da conversa — tokens ou chamadas, atribuídos à conversa e não rateados no fim do mês.
7. Carimbo de tempo de entrada e de encerramento — necessário para aplicar a janela de reincidência sem ambiguidade.

Com esses sete campos, o custo por resolução de cada grupo sai de uma consulta. Sem eles, qualquer número apresentado é reconstrução aproximada, e vale dizer isso na reunião.

Que resultado esperar, e quando o projeto não se paga

Assistentes bem implantados entregam economia real, mas ela costuma vir de uma faixa estreita de assuntos: consultas repetitivas, de resposta determinística e verificável — status de pedido, segunda via, horário de funcionamento, elegibilidade simples. Nessa faixa, a queda de custo por resolução é consistente e defensável.

Fora dela, a economia some rápido. Assuntos com exceção contratual, negociação, ou qualquer coisa em que a resposta errada gera custo maior que o atendimento economizado — cobrança indevida, cancelamento, informação regulada — tendem a ficar no vermelho quando se soma o retrabalho. A decisão prática, havendo dúvida, é restringir o escopo do assistente aos assuntos de resposta verificável e transbordar cedo no resto, mesmo que a taxa de contenção caia. Um assistente com 35% de contenção e custo por resolução 20% menor vale mais do que um com 70% de contenção e custo estável.

Se depois de oito a doze semanas de medição com grupo de controle o custo por resolução do grupo tratado não estiver abaixo do controle por uma margem maior que a variação semanal observada, o projeto está entregando velocidade e disponibilidade — o que pode ser suficiente para justificá-lo — mas não está entregando economia. São coisas diferentes e merecem ser apresentadas como tal.

Perguntas frequentes

Quanto tempo de medição é suficiente para concluir alguma coisa?

Quatro semanas é o mínimo para ter sinal acima do ruído semanal; oito a doze semanas dá conforto para decidir investimento. Janelas mais curtas capturam efeito de novidade, tanto do cliente quanto do time, e superestimam o resultado.

Dá para medir sem grupo de controle?

Dá, com perda de confiança. A alternativa é comparar antes e depois controlando por mix de intenção e por volume, e apresentar o resultado como faixa. O risco é atribuir ao assistente uma queda que veio de mudança de produto, de política ou de sazonalidade.

O custo de inferência deve ser rateado ou atribuído por conversa?

Atribuído por conversa, sempre que a plataforma permitir. Rateio pelo total mensal esconde a distribuição: em operações típicas, uma minoria de conversas longas consome uma fatia desproporcional do gasto, e é essa cauda que costuma inviabilizar assuntos específicos.

Reincidência em outro canal realmente muda tanto o resultado?

Muda o suficiente para inverter conclusões em operações multicanal. Se o rastreamento entre canais não existe, a recomendação é declarar essa limitação junto com o número, em vez de apresentar o custo por resolução como se ele estivesse completo.

Qual métrica levar para a diretoria em uma linha só?

Custo por resolução do grupo tratado contra o do grupo de controle, no mesmo período, com o número de resoluções de cada lado. Contenção e satisfação entram como contexto, nunca como resposta à pergunta de custo.

Um classificador que acerta 94% das previsões parece pronto para produção. Ele pode ser o pior modelo do seu portfólio. A acurácia média é a métrica mais citada em apresentação de resultado de IA e uma das que menos ajuda a decidir alguma coisa — porque ela comprime, em um único número, um comportamento que quase nunca é uniforme entre os segmentos que importam.

O problema tratado aqui é específico: como saber se um modelo em produção está melhorando de verdade ou apenas parecendo melhor no slide. Vale para classificação de tickets de atendimento, score de propensão de compra, roteamento de chamados, detecção de fraude e para qualquer sistema em que a saída do modelo vira decisão automática sem revisão humana.

Por que a média sobe enquanto o sistema piora

A acurácia é uma média ponderada pelo volume de cada classe. Quando a distribuição da base é desequilibrada — e em problemas de negócio ela quase sempre é —, a classe majoritária domina o resultado. Em uma base com 95% de transações legítimas e 5% de fraude, um modelo que classifica tudo como legítimo entrega 95% de acurácia sem ter aprendido nada.

Esse caso é caricato e todo mundo reconhece. A versão perigosa é mais sutil: o modelo melhora na classe majoritária, piora na minoritária e a média sobe. O dashboard mostra evolução. A operação sente degradação. As duas leituras estão corretas, e só uma delas é sobre o que a empresa contratou o modelo para fazer.

Há um segundo efeito, menos discutido: mudança na composição da base entre um período e outro. Se o mix de canais, regiões ou produtos mudou, a acurácia agregada muda mesmo com o modelo congelado. Comparar 94% de junho com 91% de agosto sem verificar se a base é comparável é comparar duas coisas diferentes e chamar de série histórica.

Mito: “a métrica subiu, então o modelo melhorou”

Essa afirmação só se sustenta sob três condições que raramente são verificadas antes de repeti-la: a base de avaliação é a mesma nos dois períodos, o limiar de decisão não mudou, e a métrica escolhida penaliza o erro que custa dinheiro.

O limiar é o ponto cego mais comum. A maioria dos modelos de classificação devolve uma probabilidade, e alguém em algum momento decidiu que acima de 0,5 é positivo. Esse 0,5 é arbitrário. Mexer nele muda precisão e recall em direções opostas sem alterar uma linha do modelo. Times mudam limiar para resolver reclamação pontual, não registram a mudança, e três meses depois ninguém sabe explicar por que a série histórica tem um degrau.

A evidência que substitui a crença é simples de produzir: fixe a base de avaliação, fixe o limiar, e só então compare. Se algum dos dois precisar mudar, a comparação vira “antes e depois da mudança”, não “evolução do modelo”. Parece burocracia. É o que separa medição de narrativa.

Há uma terceira armadilha, específica de quem reavalia com dados recentes: vazamento temporal. Se a base de teste contém informação que só existiria depois do momento da decisão — um campo preenchido pelo atendente após a análise, um status atualizado retroativamente —, o modelo acerta na avaliação e erra em produção. O sintoma clássico é uma métrica excelente no teste que não se reproduz no primeiro mês real. Antes de comemorar salto grande de desempenho, a pergunta certa é qual variável nova entrou e em que instante ela ficaria disponível na vida real.

O que medir no lugar da média

Nenhuma métrica isolada resolve. O conjunto mínimo defensável para um classificador binário em produção tem quatro elementos, e cada um responde a uma pergunta diferente:

1. Precisão na classe de interesse — de tudo que o modelo apontou como positivo, quanto era mesmo. Responde ao custo do falso positivo: quantas vezes a operação foi acionada à toa.
2. Recall na classe de interesse — de tudo que era positivo, quanto o modelo pegou. Responde ao custo do falso negativo: quanto passou batido.
3. Calibração — quando o modelo diz 0,8, aproximadamente 80% daqueles casos são positivos. Um modelo pode ordenar bem e mentir na probabilidade, e isso quebra qualquer regra de negócio construída sobre faixas de score.
4. Desempenho no pior segmento — a mesma métrica, recalculada dentro de cada corte relevante. É o número que prevê reclamação.

Se for para escolher uma para o comitê que não vai ler o resto, escolha a quarta. A média agregada é a métrica que mais engana justamente porque é a mais fácil de reportar.

Fatiar a avaliação: onde o número muda de sinal

Recalcular a métrica por segmento é a intervenção de maior retorno em avaliação de modelo, e é barata. A tabela abaixo mostra o padrão típico de um score de propensão avaliado de forma agregada e depois fatiado — os valores são ilustrativos, mas a forma da distorção se repete em praticamente todo projeto:

Os cortes que valem a pena são sempre os mesmos quatro tipos: tempo de relacionamento, canal de origem, faixa de valor e recorte geográfico ou de produto. Não é necessário inventar segmentação nova — basta usar as dimensões que já existem no relatório gerencial, porque são elas que a área de negócio usa para cobrar resultado.

Uma regra prática: qualquer segmento com mais de 5% do volume merece métrica própria. Abaixo disso, o intervalo de confiança fica largo demais para sustentar decisão, e o correto é reportar a incerteza em vez de reportar o número.

Drift: o que o dashboard não mostra

Modelo em produção degrada mesmo sem ninguém tocar nele, porque o mundo que gerou os dados de treino muda. Há dois tipos e eles pedem respostas diferentes.

O primeiro é a mudança na distribuição das entradas — o perfil de quem chega mudou. É detectável sem nenhum rótulo, comparando a distribuição das variáveis de entrada da semana contra a janela de treino. É o alerta precoce, e o único que se consegue antes de o estrago aparecer no resultado.

O segundo é a mudança na relação entre entrada e saída — o mesmo perfil passou a se comportar de outro jeito. Esse só é detectável quando o rótulo verdadeiro chega, e o atraso até ele é a variável que define o quanto se está voando às cegas. Em fraude, o rótulo chega em dias. Em churn ou propensão de compra, pode levar meses. Quanto maior esse atraso, mais peso deve ter o monitoramento de entrada, porque é o único sinal disponível no intervalo.

Vale dizer o que é honesto: quase todo alerta de drift em produção é ruído sazonal. Fim de mês, campanha, feriado e mudança de layout no formulário produzem deslocamento de distribuição que não tem nada a ver com o modelo. Alerta de drift sem calendário de negócio ao lado gera fadiga de alarme e, em poucas semanas, ninguém olha mais.

Um protocolo de avaliação que sobrevive à auditoria

O que separa um time que mede de um time que apresenta número é a existência de um procedimento escrito antes do resultado. Seis passos bastam:

1. Congele uma base de referência. Um conjunto rotulado, fora do treino, que não muda entre avaliações. Toda comparação de versão roda contra ele.
2. Defina a métrica primária antes de rodar. Uma só, escolhida pelo custo do erro que dói mais. As outras entram como secundárias.
3. Registre o limiar junto com o resultado. Métrica sem limiar declarado é um número sem unidade.
4. Reporte por segmento, sempre. O agregado entra como contexto, não como conclusão.
5. Traduza para unidade de negócio. Quantos chamados a mais, quantas horas de análise economizadas, qual valor em risco. Um ganho de três pontos em recall que não muda nada operacionalmente é ruído estatístico com apresentação bonita.
6. Guarde a versão do modelo, dos dados e do código de avaliação. Resultado que não pode ser reproduzido em seis meses não é evidência.

Entre investir em um modelo mais sofisticado e investir nesse protocolo, a escolha aqui é o protocolo — e sem hesitação. Ganho de arquitetura tem retorno decrescente rápido; capacidade de saber se o ganho existiu é o que permite tomar qualquer decisão seguinte. Times que pulam essa etapa acabam trocando de modelo por intuição e chamando isso de iteração.

Perguntas frequentes

Acurácia nunca serve para nada?

Serve quando as classes são razoavelmente equilibradas e o custo do falso positivo e do falso negativo é parecido. Isso é raro em problema de negócio, mas acontece — em algumas tarefas de classificação de conteúdo, por exemplo. O erro não é usar acurácia, é usá-la sem verificar se essas duas condições valem.

Qual o tamanho mínimo da base de avaliação?

Depende da taxa da classe rara, não do total. O que importa é ter casos positivos suficientes para que a métrica não oscile com meia dúzia de exemplos. Uma referência de trabalho: algumas centenas de positivos por segmento que se pretende reportar. Com menos que isso, reporte o intervalo, não o ponto.

Com que frequência reavaliar um modelo em produção?

Monitoramento de distribuição de entrada, contínuo ou semanal. Reavaliação completa com rótulo verdadeiro, na cadência em que o rótulo chega — não faz sentido rodar avaliação mensal se o rótulo leva noventa dias para materializar. Ajuste a frequência ao dado, não ao calendário da reunião.

E para modelos de linguagem, vale o mesmo raciocínio?

A lógica vale, as métricas mudam. Não há classe positiva óbvia, então a avaliação passa por conjuntos de casos representativos com critério de aceitação declarado por tipo de tarefa. O princípio permanece: nota média agregada esconde a categoria de pergunta em que o sistema falha, e é essa categoria que vira reclamação.