Blog

Cinquenta perguntas feitas a um assistente de IA, doze respostas citando a sua marca: 24% de presença. O número cabe bem num slide e convence uma diretoria. O problema é que, com esse tamanho de amostra, o valor verdadeiro pode estar em qualquer ponto de uma faixa de aproximadamente 12 pontos percentuais para mais ou para menos. Uma queda de 24% para 18% na semana seguinte pode ser puro ruído.

Este texto propõe um método para medir presença de marca em respostas de IA com disciplina estatística básica. Os números de exemplo são ilustrativos; os de qualquer medição real dependem do seu conjunto de perguntas, dos assistentes testados e do momento da coleta.

Defina a métrica antes de coletar

“Presença” pode significar coisas diferentes, e misturar definições é a primeira fonte de erro. Escolha uma e escreva:

1. Taxa de menção: percentual de respostas que citam a marca pelo nome. É a mais simples e a mais fácil de auditar.
2. Taxa de recomendação: percentual de respostas em que a marca aparece como opção sugerida, não apenas citada de passagem. Exige critério de classificação por escrito.
3. Posição média: em respostas com lista, em que posição a marca aparece. Útil, mas só faz sentido com amostra suficiente de listas.
4. Participação relativa: menções da sua marca divididas pelo total de menções a marcas do mesmo grupo. Mostra o seu espaço frente aos concorrentes.

Monte o conjunto de perguntas como se fosse uma pesquisa

As perguntas precisam representar o que o seu cliente de fato pergunta, não o que o time de marketing gostaria que ele perguntasse. Uma boa fonte é o que o suporte e o time comercial ouvem, somado aos termos de busca que já trazem tráfego. Divida em grupos: perguntas de descoberta (“qual ferramenta usar para…”), de comparação (“A ou B para…”) e de decisão (“vale a pena contratar…”).

Dois cuidados evitam viés. O primeiro é não incluir o nome da sua marca nas perguntas de descoberta, porque isso garante a menção e infla o número. O segundo é variar a redação: a mesma intenção escrita de quatro formas diferentes revela se a presença depende de uma frase específica.

Calcule o tamanho da amostra e a margem de erro

A margem de erro aproximada para uma proporção p com n respostas é 1,96 × raiz de p(1−p)/n. Para p = 24% e n = 50, o resultado é cerca de 12 pontos percentuais. Para n = 200, cai para cerca de 6 pontos. Para n = 800, algo próximo de 3.

Isso é uma aproximação, e vale com duas ressalvas. Respostas repetidas do mesmo assistente para a mesma pergunta não são amostras independentes, então a margem real tende a ser maior do que a calculada. E se a taxa é muito próxima de 0% ou de 100%, a fórmula perde precisão. Trate esses valores como ordem de grandeza.

Repita a coleta, porque a resposta muda

Assistentes de IA geram respostas com variação interna. A mesma pergunta, feita duas vezes seguidas, pode devolver listas diferentes. Por isso, rode cada pergunta mais de uma vez, em dias diferentes, e registre a data, o assistente e a versão informada, quando houver. Misturar coletas de modelos distintos num único percentual esconde diferenças relevantes: separe por assistente.

Uma regra prática é só chamar de tendência uma variação que se sustenta por pelo menos três coletas seguidas e que supera a margem de erro. Uma queda isolada de seis pontos com n = 50 não conta como evidência de nada.

Onde a medição engana

Há quatro armadilhas recorrentes. A primeira é o viés de formulação: perguntas escritas pelo time de marca favorecem a marca. A segunda é a mudança silenciosa do modelo: uma atualização do assistente muda os resultados sem que nada tenha mudado no seu site. A terceira é a confusão entre menção e impacto: ser citado não é o mesmo que gerar clique ou venda, e ligar uma coisa à outra exige dados de tráfego e de conversão que a medição de menções sozinha não fornece. A quarta é a personalização: respostas variam conforme o histórico e a localização de quem pergunta, então uma coleta feita em uma única conta pode não refletir o que o público vê.

Um exemplo completo, com números ilustrativos

Suponha uma empresa de software de gestão que monta um conjunto de 120 perguntas, divididas em três grupos de 40: descoberta, comparação e decisão. Cada pergunta é feita duas vezes por semana a dois assistentes, durante três semanas. Isso gera 120 × 2 × 2 × 3 = 1.440 respostas no total, ou 720 por assistente.

Na primeira semana, o assistente A cita a marca em 22% das respostas e, na terceira, em 27%. A diferença é de cinco pontos percentuais. Com 240 respostas por semana por assistente, a margem de erro de cada medida fica em torno de 5 a 6 pontos. Ou seja: a diferença está dentro do ruído, e afirmar que a marca “cresceu” seria precipitado. O que se pode dizer é que a medida está estável ou que há um sinal fraco de alta que precisa de mais coletas para ser confirmado.

No assistente B, a taxa vai de 10% para 24% ao longo das mesmas três semanas. Aqui a diferença é de 14 pontos, maior do que a soma das margens, e se repete em coletas consecutivas. Essa variação merece investigação: a empresa publicou conteúdo novo no período? O assistente mudou de versão? O concorrente principal perdeu presença? Sem registrar esses eventos junto da série, o número vira curiosidade.

Por fim, o grupo de perguntas importa. Se a presença no grupo de comparação é de 40% e no de descoberta é de 8%, o problema da marca é de visibilidade em quem ainda não a conhece, e a estratégia de conteúdo deve mirar nesse grupo. Médias gerais escondem esse padrão e levam a decisões erradas.

Como documentar a metodologia para que ela seja auditável

Uma medição só é útil se outra pessoa conseguir refazê-la e chegar ao mesmo resultado. Mantenha um documento de método com cinco itens: a lista completa de perguntas e a data da última revisão; a definição de cada métrica; a lista de assistentes e as versões, quando informadas; o procedimento de coleta, incluindo conta, idioma e localização; e as regras de classificação das respostas, com exemplos de casos duvidosos.

A classificação merece atenção especial. Quando duas pessoas classificam as mesmas 100 respostas de forma independente, a concordância entre elas indica se a regra está clara. Se discordam em muitos casos, a regra precisa ser reescrita antes de a série histórica ser comparada. Sem isso, a oscilação do número pode refletir mudança de quem classifica, e não mudança do assistente.

Guarde também as respostas brutas, com data e pergunta, em vez de guardar só o resultado agregado. Se a diretoria questionar um número daqui a seis meses, será possível voltar ao texto original. E se o critério mudar, é possível reclassificar todo o histórico, evitando uma quebra na série que inviabilize a comparação.

Por fim, estabeleça um calendário. Coletas semanais com o mesmo conjunto de perguntas por pelo menos oito a doze semanas formam uma linha de base suficiente para distinguir a variação normal de uma mudança real. Antes disso, qualquer interpretação deve ser apresentada como hipótese de trabalho.

Como levar isso para a reunião

Em vez de apresentar um percentual único, apresente três coisas: a taxa com a margem de erro, a comparação com os concorrentes no mesmo conjunto de perguntas e a variação ao longo de ao menos três coletas. Se a diretoria perguntar se vale investir em conteúdo para melhorar essa presença, a resposta honesta é que existem hipóteses plausíveis, mas poucas evidências causais publicadas, então o investimento deve ser tratado como experimento com métrica definida e prazo para reavaliar.

Resumindo o método em uma frase: defina a métrica, represente o público nas perguntas, calcule a margem de erro, repita a coleta e só chame de tendência o que sobrevive a três rodadas seguidas.

Perguntas frequentes

Quantas perguntas eu preciso, no mínimo?

Para comparar períodos com alguma confiança, procure algo na casa das centenas de respostas por assistente. Com menos de cinquenta, use o resultado apenas como exploração.

Posso automatizar a coleta?

Pode, desde que respeite os termos de uso de cada serviço. Automatizar ajuda a repetir a coleta, mas a classificação das respostas precisa de uma amostra revisada por humanos para checar erros.

Menção negativa conta?

Registre separadamente. Uma menção que recomenda não ficar com a sua marca tem valor oposto ao de uma recomendação, e somar as duas distorce o resultado.

Como saber se a mudança foi causada pelo meu conteúdo?

Em geral, não dá para saber só com esse tipo de medição. Para sustentar causalidade, compare páginas ou temas que receberam conteúdo novo com temas parecidos que não receberam, no mesmo período, e registre a data de cada publicação. Mesmo assim, o resultado é indício, não prova: assistentes mudam de versão, e concorrentes também publicam.

Vale medir também as fontes citadas pelo assistente?

Vale, quando o assistente informa fontes. Registrar quais domínios aparecem mostra de onde a resposta se alimenta e ajuda a priorizar onde ter presença. Trate a lista como um retrato da coleta, sujeito às mesmas margens de erro e à mesma variação entre execuções que a taxa de menção.

A pergunta que trava a maioria dos projetos de assistente interno não é qual modelo usar. É esta: qual número prova que ele está funcionando? Quando a resposta vem como “a equipe gostou” ou “parece que acerta uns 90%”, não existe avaliação — existe impressão. E impressão não sobrevive à primeira reunião em que alguém pergunta por que o assistente inventou um prazo de garantia que não existe em lugar nenhum da base.

Avaliar um assistente que responde sobre documentos internos é diferente de avaliar um classificador. Não há rótulo único e objetivo para “resposta certa”. Mas isso não significa que não dê para medir. Significa que a medição precisa ser decomposta em camadas, porque cada camada falha por um motivo distinto e exige uma correção distinta. Um framework de cinco camadas resolve o problema sem exigir time de machine learning dedicado.

Antes das camadas, um aviso sobre o número que costuma ser reportado: taxa de acerto agregada é um número inútil isolado. Suponha um assistente que responde dúvidas sobre política interna de RH e acerta 8 de cada 10 perguntas de teste. O número parece bom. Só que ele não diz nada sobre o que fazer a seguir, porque as duas falhas podem ter origens completamente diferentes.

Se o assistente errou porque o trecho correto do documento nunca chegou até o modelo, o problema é de recuperação — e trocar de modelo de linguagem não resolve nada. Se o trecho chegou e o modelo o contradisse, o problema é de geração. Se o trecho chegou, o modelo o reproduziu corretamente, mas a resposta não serve para a pessoa decidir nada, o problema é de utilidade. São três diagnósticos e três correções sem nenhuma sobreposição.

Uma taxa agregada mistura os três e apaga a informação que importa. O framework existe para separá-los antes de agregar qualquer coisa.

Camada 1: recuperação — o trecho certo chegou?

Esta é a camada mais barata de medir e a mais frequentemente ignorada. A pergunta é binária: entre os documentos que o sistema selecionou para responder, existe o trecho que de fato contém a informação?

Para medir, monte um conjunto de perguntas em que você já sabe qual documento e qual seção respondem. Rode a busca isoladamente, sem gerar resposta nenhuma, e verifique se o trecho esperado apareceu. Duas variantes valem a pena: apareceu em qualquer posição, e apareceu entre os três primeiros. A diferença entre esses dois números indica se o problema é de cobertura ou de ordenação.

Falha de cobertura costuma vir de fragmentação ruim — pedaços de documento cortados no meio de uma tabela, ou grandes demais para que a parte relevante tenha peso. Falha de ordenação costuma se resolver com uma etapa de reordenação dos candidatos, que hoje é barata o suficiente para ser padrão.

Camada 2: fidelidade — a resposta cabe no que foi recuperado?

Com o trecho certo em mãos, a próxima pergunta é se a resposta gerada se sustenta nele. Não se trata de estar certa no mundo: trata-se de estar contida no material fornecido. Uma resposta pode ser verdadeira e ainda assim ser um problema grave, se o modelo a produziu de memória em vez de ler a base da empresa — porque na próxima vez, com a política atualizada, ele vai repetir a versão antiga.

A forma prática de medir isso é exigir que cada afirmação da resposta venha com a referência ao trecho de origem, e então verificar, afirmação por afirmação, se o trecho realmente sustenta aquilo. Dá para fazer isso com revisão humana em amostra pequena, e dá para automatizar com um segundo modelo atuando como avaliador, desde que a amostra automatizada seja calibrada contra a humana de tempos em tempos.

O erro comum aqui é aceitar a citação como prova. O modelo cita o documento correto e, no meio da frase, acrescenta uma condição que o documento não menciona. Verificação de fidelidade que só confere se a citação existe não pega esse caso — ela precisa conferir se a citação sustenta o que foi dito.

Camada 3: comportamento fora de escopo — ele sabe dizer que não sabe?

Esta camada é a que mais separa um assistente utilizável de um passivo. Metade das perguntas reais de um assistente interno não tem resposta na base: são perguntas sobre exceções, sobre casos que ninguém documentou, ou sobre assuntos de outra área.

Monte um conjunto de perguntas propositalmente sem resposta na base e meça uma única coisa: em que porcentagem delas o assistente disse que não encontrou a informação, em vez de produzir algo plausível. Esse número costuma ser desconfortavelmente baixo na primeira medição, porque o comportamento padrão da maioria dos modelos é sempre responder.

Vale separar dois tipos de abstenção: a correta, quando a informação não existe mesmo, e a excessiva, quando a informação está na base e o assistente se recusa a responder. Otimizar só o primeiro número produz um assistente que não responde nada. Os dois precisam ser reportados juntos.

Camada 4: utilidade — a resposta resolve a tarefa?

Aqui a avaliação deixa de ser automatizável e passa a depender de quem usa. A resposta pode ser recuperada corretamente, fiel à fonte, e ainda assim inútil: longa demais para quem está no telefone com um cliente, ou genérica demais para quem precisa de um valor específico.

A medição prática é um julgamento de três níveis feito por quem trabalha na área: resolveu sozinha, resolveu mas exigiu conferência no documento, não resolveu. O segundo nível é o mais informativo, porque indica onde o assistente está entregando meia entrega — e meia entrega em volume alto às vezes custa mais tempo do que não ter assistente nenhum.

Camada 5: regressão — a mudança de ontem quebrou o que funcionava?

A quinta camada não mede qualidade: mede estabilidade. Todo ajuste de prompt, toda troca de versão de modelo e toda reindexação da base tem potencial de melhorar um conjunto de perguntas e piorar outro. Sem um conjunto fixo rodado antes e depois, essa troca acontece às cegas.

O conjunto de regressão precisa ser congelado e versionado como código. Quando uma pergunta é corrigida depois de uma falha real em produção, ela entra no conjunto e nunca mais sai. É assim que o conjunto ganha valor com o tempo, porque passa a conter exatamente os casos que já deram problema.

Como montar o conjunto de avaliação sem equipe dedicada

A objeção prática mais comum é que não há tempo para construir centenas de exemplos rotulados. Não precisa haver. Um conjunto inicial na casa de algumas dezenas de perguntas, escolhidas a dedo, entrega a maior parte do valor — e é infinitamente melhor do que nenhum.

1. Extraia as perguntas do histórico real. As dúvidas que as pessoas já mandavam por mensagem antes do assistente existir são o melhor material possível, porque refletem a distribuição real de perguntas, não a que você imagina.
2. Rotule só a fonte, não a resposta. Escrever a resposta ideal para cada pergunta consome tempo demais. Anotar qual documento e qual seção respondem é rápido e habilita as camadas 1 e 2 inteiras.
3. Inclua deliberadamente o que não tem resposta. Reserve em torno de um quinto do conjunto para perguntas sem resposta na base — é a única forma de medir a camada 3.
4. Estratifique por tipo de pergunta. Perguntas de valor exato, de procedimento e de exceção falham de formas diferentes. Uma média que junta os três esconde qual deles está quebrado.
5. Deixe a rodada automatizada em um comando. Se rodar a avaliação der trabalho, ela vai ser rodada uma vez e abandonada.

Se for necessário escolher por onde começar, comece pela camada 1 e pela camada 3. A primeira define o teto do sistema e é a mais barata de medir. A terceira é a que evita o incidente que derruba a confiança interna no projeto de uma vez só — e confiança interna, uma vez perdida, custa mais para recuperar do que qualquer ganho de acurácia.

Perguntas frequentes

Dá para usar um modelo de linguagem como avaliador das respostas?

Dá, e é a prática mais comum hoje para escalar a avaliação de fidelidade. A ressalva é que o avaliador também erra, e erra de forma correlacionada quando é o mesmo modelo que gerou a resposta. O caminho é calibrar: revise manualmente uma amostra do que o avaliador julgou, meça a concordância, e trate o número automatizado como estimativa com margem conhecida, não como verdade.

Com que frequência a avaliação deve ser rodada?

O conjunto de regressão, antes de cada mudança que entra em produção. As camadas de utilidade, que dependem de julgamento humano, em ciclos mais longos — mensal costuma ser suficiente para a maioria das operações, e semanal só faz sentido enquanto o sistema ainda está mudando muito.

Quantas perguntas o conjunto precisa ter para o número ser confiável?

Depende da diferença que se quer detectar. Para perceber uma variação grande, algumas dezenas bastam. Para afirmar com segurança que uma mudança melhorou o sistema em poucos pontos percentuais, o conjunto precisa ser bem maior — e nesse caso vale reconhecer que o experimento não tem poder estatístico para a afirmação, em vez de reportar a diferença como se fosse real.

Vale medir satisfação do usuário com polegar para cima e para baixo?

Vale como sinal de alerta, não como métrica de qualidade. A taxa de resposta desse tipo de botão é baixa e enviesada para os extremos: quem clica é quem ficou muito satisfeito ou muito irritado. Serve bem para encontrar casos ruins que deveriam entrar no conjunto de regressão, e mal para acompanhar tendência.

Uma plataforma de automação de marketing com IA fecha o mês reportando que os fluxos automatizados geraram R$ 180 mil em receita atribuída. Na reunião seguinte, quase ninguém faz a pergunta que decide o orçamento do ano: quanto dessa receita não teria acontecido de qualquer maneira? Receita atribuída e ganho incremental são coisas diferentes, e a distância entre as duas costuma ser grande justamente nos fluxos que parecem melhores.

Este texto é sobre desenho de medição, não sobre escolha de ferramenta. O problema descrito aqui aparece igual em qualquer plataforma, porque ele não está no produto — está na forma como o número é calculado.

O que o painel mede e o que ele deixa de fora

A esmagadora maioria dos relatórios de automação usa atribuição por último toque dentro de uma janela — o clique ou a abertura mais recente antes da conversão, normalmente com janela de alguns dias. A regra é razoável para organizar o relatório. O problema é que ela responde a uma pergunta descritiva (“qual foi o último contato antes da compra?”) e é lida como se respondesse a uma pergunta causal (“essa mensagem causou a compra?”).

A distorção não é aleatória, e é aí que ela machuca. Fluxos automatizados são disparados por sinal de intenção: carrinho abandonado, visita repetida à página de preço, fim de trial, aniversário de contrato. São exatamente os usuários com maior probabilidade de comprar sem estímulo nenhum. A automação chega por último numa fila que já estava andando e leva o crédito da fila inteira.

Camadas de IA agravam o efeito em vez de corrigi-lo. Um modelo de propensão que escolhe quem receber a mensagem é treinado para identificar quem tem maior chance de converter — ou seja, é otimizado para selecionar pessoas cuja conversão seria mais provável de qualquer forma. Quanto melhor o modelo de propensão, mais inflada fica a receita atribuída e menor tende a ser a parcela realmente incremental. É um caso em que a métrica melhora enquanto o argumento piora.

Por que a sazonalidade contamina a comparação antes e depois

O segundo desenho mais comum é a comparação temporal: liga-se a automação em determinado mês e compara-se o trimestre seguinte com o anterior. O desenho parece limpo porque a base é a mesma. Não é.

Entre os dois períodos mudaram, no mínimo: o calendário comercial, o volume de mídia paga, o mix de canais de aquisição, a composição da base (quem entrou nos últimos noventa dias tem comportamento diferente de quem está há dois anos) e, com frequência, o preço. Em varejo, a diferença entre novembro e setembro basta para produzir sozinha uma variação de dois dígitos. Em B2B com ciclo trimestral, o último mês do trimestre carrega uma concentração de fechamentos que nada tem a ver com o fluxo de e-mail.

Há um agravante prático: automação quase nunca é ligada em momento neutro. Ela costuma ser ligada quando o time decidiu investir em crescimento — junto com mais verba de mídia, campanha nova e às vezes promoção. O antes e depois mede o pacote inteiro e credita o resultado ao componente mais fácil de instrumentar.

O desenho que isola o efeito: holdout aleatório

O único desenho que responde à pergunta causal sem depender de suposição forte é reservar aleatoriamente uma parte da base que não recebe a automação, e comparar os dois grupos no mesmo intervalo de tempo. Como os dois grupos atravessam a mesma Black Friday, a mesma greve dos Correios e o mesmo reajuste de preço, tudo que é sazonal se cancela.

O procedimento mínimo tem cinco etapas:

1. Definir a unidade de aleatorização. Normalmente o usuário; em operações com contas multiusuário, a conta, para evitar que duas pessoas da mesma empresa caiam em grupos diferentes.
2. Sortear antes de qualquer filtro de elegibilidade. O sorteio precisa acontecer sobre toda a base que poderia entrar no fluxo, não sobre quem o modelo já selecionou — caso contrário o viés de seleção volta pela porta dos fundos.
3. Congelar o grupo de controle por um período inteiro. Trocar quem está no holdout a cada campanha destrói a comparação, porque contamina o controle com exposição parcial.
4. Definir a métrica primária antes de olhar o resultado. Uma só: receita por usuário no período, ou taxa de conversão, ou retenção. As demais entram como secundárias e não decidem nada sozinhas.
5. Fixar a data de leitura. Olhar todo dia e parar quando dá significância é a forma mais rápida de transformar ruído em decisão.

Quanto de base reservar sem travar a operação

A pergunta que trava o projeto na prática costuma ser comercial: ninguém quer abrir mão de receita para medir. A resposta depende do tamanho do efeito que se quer detectar, e essa relação é pouco intuitiva — detectar um efeito pela metade do tamanho exige aproximadamente quatro vezes mais gente em cada grupo, não o dobro.

Isso tem uma consequência prática direta. Se a expectativa honesta de ganho é da ordem de poucos pontos percentuais sobre a taxa de conversão atual, o experimento precisa de dezenas de milhares de usuários por grupo para distinguir o efeito do ruído. Bases pequenas simplesmente não conseguem medir efeitos pequenos, e insistir produz um resultado inconclusivo caro. Os números exatos variam com a taxa de conversão de partida e com a variância do ticket — em receita por usuário, onde uma minoria de compradores grandes domina a média, a variância é alta e a amostra necessária cresce bastante.

Duas saídas honestas quando a base é pequena: rodar o holdout por mais tempo, acumulando volume, ou aceitar que só efeitos grandes serão detectáveis e declarar isso antes de começar. A saída desonesta é rodar com amostra insuficiente e apresentar a diferença observada como se fosse resultado.

Sobre o tamanho do holdout: reservar 10% da base costuma ser o ponto onde o custo de oportunidade é tolerável para o time comercial. Se a base for pequena, dividir meio a meio é estatisticamente muito mais eficiente e vale a negociação interna — a perda de receita durante um trimestre é menor do que o custo de manter por anos um fluxo que não funciona.

A conta do ganho incremental

Com o holdout rodando, a conta é subtração. O exemplo abaixo usa números redondos apenas para mostrar a mecânica; não é benchmark de nenhum setor.

O ganho incremental por usuário é R$ 1,20 — a diferença entre R$ 18,00 e R$ 16,80. Aplicado aos 90 mil expostos, dá cerca de R$ 108 mil de receita que não existiria sem a automação. O painel da ferramenta, nesse mesmo cenário, reportaria como receita atribuída algo próximo dos R$ 400 mil que passaram por algum toque do fluxo. A diferença entre os dois números não é erro da ferramenta: são perguntas diferentes.

Só o segundo número entra na conta de retorno. Contra ele se coloca o custo total: licença da plataforma, custo de inferência do modelo, horas de operação e de dados. Se o incremental não cobrir esse total com folga, o projeto está se pagando com receita que já era da casa.

Quando o holdout não é possível

Há casos legítimos em que reservar usuários não funciona: base muito pequena, canal que não permite exclusão individual, ou efeito de rede entre usuários que contamina o controle. As alternativas resolvem parcialmente e cada uma cobra um preço.

Havendo escolha, o holdout aleatório vence com folga e não é perto. A segunda melhor opção, na prática, é o rollout escalonado, porque ele costuma já estar no plano de implantação e só exige que se registre com precisão a data de entrada de cada grupo. Diferenças em diferenças serve para recuperar uma estimativa quando a chance de experimentar foi perdida, e deve ser apresentada com esse nome — estimativa retrospectiva, não medição.

Perguntas frequentes

Dá para medir incrementalidade sem prejudicar quem está no holdout?

O grupo de controle continua recebendo tudo que já recebia antes da automação — comunicação padrão, atendimento, campanhas gerais. Ele não fica sem contato; fica sem o fluxo específico que está em teste. Essa distinção costuma resolver a objeção comercial.

Por quanto tempo o holdout precisa ficar no ar?

No mínimo um ciclo completo de compra do negócio, para não cortar conversões que ainda estavam em curso. Em varejo de recompra rápida isso pode ser algumas semanas; em B2B com ciclo longo, um trimestre inteiro é o piso.

E se o resultado der diferença negativa?

Acontece com mais frequência do que se admite, sobretudo em fluxos de alta frequência que aceleram descadastro. Diferença negativa com amostra adequada é informação de altíssimo valor: significa que o fluxo está custando dinheiro em dois lugares ao mesmo tempo.

O modelo de atribuição multi-toque resolve o problema?

Não. Modelos multi-toque distribuem crédito de forma mais elegante entre os pontos de contato, mas continuam repartindo conversões observadas. Nenhum deles observa o que teria acontecido sem o contato, que é justamente a informação que falta.

Vale reaproveitar o holdout para medir outros fluxos?

Só se o grupo estiver excluído de todos eles. Um holdout que não recebe o fluxo A mas recebe o B mede a diferença entre A e B, não o efeito de A. Operações maduras mantêm um holdout global pequeno e permanente, separado dos testes pontuais.

Qual porcentagem do tráfego do seu site já vem de respostas geradas por IA? Se a resposta honesta for “não sei separar isso no relatório”, esse é o verdadeiro ponto de partida — e é também a razão pela qual o debate sobre “otimizar para IA” anda girando em falso desde o ano passado.

A tese que circula em praticamente toda apresentação comercial de ferramenta é simples: o SEO acabou, agora existe uma disciplina nova, com regras próprias, e quem não migrar some. A tese oposta, defendida por parte dos times técnicos, é igualmente simples: não mudou nada, continue fazendo bem feito o que já fazia. Nenhuma das duas sobrevive a uma medição cuidadosa. O que muda é real, mas está em um lugar diferente de onde o discurso aponta.

O que a evidência disponível permite afirmar hoje

Os sistemas de resposta generativa — tanto os assistentes independentes quanto os resumos que aparecem no topo da busca — funcionam em duas camadas separadas. A primeira recupera documentos; a segunda redige uma resposta a partir deles. Essa separação não é um detalhe de arquitetura: é o eixo de tudo o que vem a seguir.

A camada de recuperação depende de o conteúdo existir, estar acessível a um rastreador e ser recuperável por uma consulta. Isso é, em essência, o mesmo conjunto de exigências que a busca tradicional impõe há duas décadas. Página que o rastreador não alcança não entra em índice nenhum — nem no da busca, nem no da base que alimenta o gerador.

A camada de geração é onde a diferença mora. Ela não escolhe uma página para exibir: ela escolhe trechos para costurar. Um documento pode ser recuperado, ter uma frase aproveitada e nunca gerar clique. Do ponto de vista da recuperação, foi um sucesso. Do ponto de vista do relatório de sessões, não aconteceu nada.

Onde a narrativa do “SEO acabou” quebra

O argumento comercial costuma sustentar que existe uma técnica nova de escrita que faz o modelo escolher o seu conteúdo. Na prática, o que se observa nos testes que dá para reproduzir em casa é bem menos glamouroso: o que aumenta a chance de ser recuperado continua sendo cobertura de tema, clareza de definição, dado verificável e estrutura que permita extrair uma afirmação isolada do parágrafo.

Isso descreve conteúdo bom. Descrevia conteúdo bom antes também. A diferença é que a busca tradicional tolerava razoavelmente bem uma página que respondia mal mas tinha autoridade acumulada, enquanto o gerador precisa de uma frase que se sustente sozinha, fora do contexto do artigo. Página que só faz sentido lida inteira tende a ser ignorada na hora de montar a resposta.

Há um segundo ponto que raramente aparece nas apresentações: o comportamento varia muito entre assistentes. Alguns priorizam fontes com histórico consolidado; outros priorizam frescor; outros ainda dependem fortemente do índice de um buscador terceiro. Otimizar “para IA” no singular é uma abstração — o comportamento é plural e instável entre versões.

O que muda de verdade: a unidade de resultado

A mudança concreta não é de técnica de conteúdo. É de unidade de medida. O SEO clássico organizava tudo em torno de uma cadeia previsível: impressão gera clique, clique gera sessão, sessão gera conversão. Essa cadeia continua existindo, mas passou a conviver com um caminho paralelo em que a impressão acontece dentro de uma resposta que o usuário lê sem sair de onde está.

Para quem vende produto de ticket baixo e decisão rápida, isso é perda direta. Para quem vende produto de ciclo longo, é mais ambíguo: a marca aparece na fase de pesquisa, o usuário não clica ali, e volta duas semanas depois por busca direta pelo nome. Esse retorno aparece no relatório como tráfego direto ou de marca, sem qualquer vínculo com a citação que o originou. É por isso que muita queda de tráfego orgânico atribuída a “IA” vem acompanhada de alta em busca por marca — e ninguém conecta as duas linhas.

Vale nomear o efeito colateral dessa mudança de unidade: a taxa de clique deixou de ser um indicador limpo de qualidade da página. Antes, título fraco derrubava a taxa de clique e título forte a recuperava, e a leitura era direta. Hoje, a mesma consulta pode ter perdido metade do clique porque ganhou um resumo no topo, sem que nada na sua página tenha piorado. Times que continuam otimizando título contra uma linha de taxa de clique em queda estão perseguindo uma variável que saiu do controle deles — e queimando ciclos de teste em cima de ruído. O teste de sanidade é simples: se a queda de clique é homogênea entre todas as posições e todas as páginas de um mesmo tipo de consulta, a causa é do formato do resultado, não da sua redação.

SEO clássico e otimização para resposta gerada, lado a lado

A leitura da tabela é o argumento central deste texto: cinco das seis linhas descrevem diferenças de medição e exibição, não de produção de conteúdo. Quem trata isso como uma disciplina nova está reorganizando o time em torno de um problema de instrumentação.

Como medir sem inventar métrica nova

A instrumentação mínima cabe em quatro movimentos, e nenhum deles exige ferramenta que não esteja na sua casa.

1. Separe o tráfego de referência vindo de assistentes. Os domínios de origem desses produtos são poucos e conhecidos; um segmento fixo no seu analytics isola essa fatia e passa a mostrar volume e conversão dela em vez de diluí-la no “direto”.
2. Acompanhe a série de busca por marca. Se o orgânico não-marca cai e o de marca sobe no mesmo período, o mais provável é deslocamento de etapa, não perda de demanda.
3. Monte um painel de consultas de referência. Escolha entre vinte e cinquenta perguntas que descrevem a decisão do seu cliente, rode manualmente uma vez por mês nos assistentes que importam para o seu público, e registre apenas duas colunas: houve citação, e de quem. É trabalho braçal, e é o único dado confiável que existe hoje sobre esse canal.
4. Compare taxa de clique por tipo de consulta. Consultas de definição e de “o que é” tendem a perder clique com resumo no topo; consultas transacionais e de comparação de preço tendem a resistir. Se a queda estiver concentrada no primeiro grupo, o diagnóstico já está pronto.

Sobre ordens de grandeza: a fatia de sessões vinda diretamente de assistentes ainda é pequena na maioria dos sites brasileiros que dá para observar — tipicamente de um a poucos por cento do orgânico, com enorme variação por setor. O efeito relevante hoje não é o tráfego que chega por ali; é o clique que deixa de acontecer na busca. Esse segundo número é maior e muito mais difícil de isolar, porque só aparece como taxa de clique caindo com impressão estável.

A decisão prática, com o custo na mesa

Diante do quadro acima, a posição defensável é esta: não monte um time separado de “otimização para IA”. Trate o assunto como uma extensão da operação de conteúdo existente, com três ajustes.

O primeiro é editorial: cada peça precisa conter afirmações que se sustentem fora do parágrafo. Definição fechada, número com a origem colada nele, critério de escolha explícito. Isso melhora o conteúdo para o leitor humano também, o que torna o custo do ajuste próximo de zero.

O segundo é de portfólio: aceitar que páginas puramente definicionais vão perder clique de forma estrutural e parar de investir nelas como se fossem porta de entrada. Elas continuam úteis para cobertura de tema, mas o retorno delas migrou de sessão para presença.

O terceiro é de relatório: mudar a meta do time. Enquanto o indicador principal for sessão orgânica, qualquer conteúdo que gere citação sem clique aparece como fracasso, e o time vai naturalmente parar de produzi-lo. Se você acredita que presença em resposta gerada importa, ela precisa existir como linha no painel — mesmo medida à mão, mesmo com amostra pequena.

O erro caro aqui não é ignorar o canal. É reorganizar orçamento e equipe com base em uma métrica que ninguém no mercado consegue auditar, vendida por quem também vende a ferramenta que promete otimizá-la.

Perguntas frequentes

Dados estruturados aumentam a chance de o meu conteúdo ser citado?

Ajudam a delimitar qual é a afirmação da página e facilitam a extração, mas não há garantia observável de que a presença do marcador aumente a citação. Vale manter pela função original — exibição no resultado de busca — e tratar qualquer ganho na resposta gerada como efeito colateral, não como objetivo.

Bloquear rastreadores de IA protege o meu conteúdo?

Protege do uso, e ao mesmo tempo elimina a chance de citação. É uma decisão de negócio, não técnica: faz sentido para quem monetiza acesso ao conteúdo em si, e costuma ser prejudicial para quem usa conteúdo para gerar demanda. Decida pela fonte de receita, não pelo princípio.

Dá para saber quantas vezes minha marca foi citada sem rodar consulta manual?

Existem ferramentas que se propõem a isso, e todas trabalham por amostragem de consultas — nenhuma tem acesso ao volume real. São úteis para tendência, e não para número absoluto. Cobre de qualquer fornecedor a metodologia de amostragem antes de aceitar o número.

Publicar mais conteúdo aumenta a presença em respostas geradas?

Aumenta a superfície de recuperação, o que ajuda até certo ponto. Mas volume sem profundidade tende a produzir páginas que não têm nenhuma afirmação forte o suficiente para ser aproveitada. Entre dobrar o número de textos e melhorar a densidade dos que já existem, o segundo caminho tem se mostrado mais eficiente para esse fim específico.

Uma pergunta antes de qualquer ajuste: qual porcentagem das perguntas reais chega ao modelo já com o trecho correto dentro do contexto? Quem não tem esse número não está otimizando um assistente — está ajustando prompt no escuro e esperando que a média suba.

É o cenário mais comum em projetos de RAG que passam da prova de conceito. O time monta um conjunto de trinta perguntas, roda, vê acerto alto, libera para a área de negócio. Duas semanas depois chega o relato de que o assistente inventa procedimento, cita política revogada e responde com segurança sobre coisas que não existem. E a discussão vira sobre trocar de modelo, quando o problema quase nunca está ali.

Uma métrica agregada esconde duas falhas com causas opostas

Acurácia de resposta é uma métrica de saída. Ela mistura, num número só, duas etapas que falham por motivos diferentes e se corrigem com intervenções diferentes.

A primeira é a recuperação: dada a pergunta, o sistema encontrou e colocou no contexto o trecho que continha a informação. A segunda é a geração: tendo o trecho em mãos, o modelo produziu uma resposta fiel ao que estava escrito.

Quando as duas etapas são medidas juntas, cada queda de acurácia comporta pelo menos quatro histórias distintas — o trecho não existe no acervo, existe mas não foi recuperado, foi recuperado mas ficou soterrado entre passagens irrelevantes, ou chegou íntegro e o modelo respondeu outra coisa. As quatro exigem times, prazos e orçamentos diferentes. Tratar todas com engenharia de prompt é o desperdício mais frequente nesse tipo de projeto.

O teto de recuperação, e por que ele define o resto

Existe um número que limita todos os outros. Se o trecho correto entra no contexto em, digamos, 70% das perguntas, então 70% é o teto de acurácia final do sistema. Nas outras 30% o modelo está sendo convidado a responder sem a informação — e o comportamento esperado ali é recusar, não acertar.

Esse raciocínio inverte a ordem natural das tentativas. A maioria dos times começa pela camada mais visível — o prompt — porque é a mais barata de mexer. Só que a camada mais barata de mexer é também a que tem menos margem quando o teto está baixo. Vale medir o teto primeiro e só depois decidir onde investir.

O teste do oráculo: quinze minutos que localizam a falha

Há um experimento simples que separa as duas etapas sem instrumentação sofisticada. Pegue as perguntas que o sistema errou. Para cada uma, localize manualmente o trecho correto na documentação e cole esse trecho no contexto, ignorando a busca. Rode a geração de novo.

A leitura do resultado é direta:

1. O modelo passa a acertar com o trecho colado. A falha é de recuperação. Prompt não é o problema, e mexer nele vai consumir semanas sem mover o indicador.
2. O modelo continua errando mesmo com o trecho correto no contexto. A falha é de geração — instrução ambígua, contexto longo demais, conflito entre o que o documento diz e o que o modelo já sabia, ou pergunta que exige combinar duas fontes.
3. O trecho correto não existe no acervo. Não é um problema de IA. É um problema de documentação, e nenhuma camada técnica resolve.

Esse terceiro caso costuma responder por uma fatia maior do que os times esperam quando o acervo veio de wiki interna acumulada por anos. Vale conferir antes de abrir qualquer ticket de engenharia.

Duas variações do teste rendem informação adicional por pouco esforço. A primeira é repetir a geração com o trecho correto sozinho no contexto e depois com o trecho correto misturado às passagens que a busca havia trazido. Se o acerto aparece no primeiro caso e some no segundo, o problema não é nem busca nem modelo — é ruído de contexto, e a correção passa por reordenação. A segunda é rodar a mesma pergunta reescrita com as palavras que a documentação usa, em vez das palavras que o usuário usou. Quando isso resolve, o desencontro é de vocabulário, e reescrita de consulta ou busca por termo entram na lista de intervenções antes de qualquer coisa mais cara.

As quatro métricas que substituem a média única

Para acompanhar o sistema ao longo do tempo, quatro indicadores dão conta e se calculam sem ferramenta paga:

1. Recall@k — em que porcentagem das perguntas o trecho-âncora anotado aparece entre os k documentos recuperados. É o teto descrito acima.
2. Precisão do contexto — que fração do que entrou no contexto era de fato relevante. Precisão baixa com recall alto significa que o trecho certo está lá, cercado de ruído, e o problema é de ordenação, não de busca.
3. Fidelidade ao contexto — que fração das afirmações da resposta é sustentada por alguma passagem recuperada. É a métrica que captura alucinação de forma auditável, porque cada afirmação pode ser rastreada até um trecho ou até a ausência dele.
4. Taxa de recusa apropriada — com que frequência o sistema diz que não sabe quando o contexto realmente não continha a resposta. Esse indicador costuma ser esquecido, e é o que separa um assistente confiável de um que responde bonito sobre qualquer coisa.

Um conjunto de avaliação de algumas dezenas a poucas centenas de perguntas reais, cada uma com o trecho-âncora anotado por alguém da área, já entrega leitura estável. O que muda o resultado não é o tamanho do conjunto — é a origem das perguntas. Conjunto escrito pelo time de engenharia mede o sistema contra a linguagem da engenharia, que não é a linguagem de quem usa.

Sintoma, etapa provável e teste correspondente

Na prática, a leitura desses quatro indicadores fica mais rápida quando o ponto de partida é o sintoma relatado pelo usuário. A tabela abaixo faz esse caminho inverso — do que se ouve na reclamação até a medição que confirma ou descarta a hipótese.

Duas crenças que consomem orçamento sem mover indicador

A primeira é a de que ampliar a janela de contexto resolve recuperação ruim. Enfiar cinquenta passagens no contexto porque a busca não é confiável aumenta o custo por chamada, aumenta a latência e piora a precisão do contexto. Modelos tendem a dar menos peso ao que está no meio de contextos longos, então a passagem correta pode estar presente e ainda assim ser ignorada. Reordenar bem dez passagens costuma render mais do que despejar cinquenta.

A segunda é a de que trocar o modelo de geração é a alavanca principal. Modelo melhor ajuda quando a falha é de geração — raciocínio sobre duas fontes, síntese, obediência a formato. Quando a falha é de recuperação, o modelo mais caro do mercado continua respondendo sobre um contexto que não tem a informação, e o ganho fica na margem de erro da medição.

Há ainda uma terceira crença, mais discreta: a de que ajuste fino do modelo ensina o conhecimento da empresa e dispensa a recuperação. Ajuste fino é eficiente para formato, tom e obediência a instrução, e ineficiente como forma de armazenar fato que muda. Acervo corporativo é revisado, revogado e substituído — e cada revisão exigiria treinar de novo, com custo recorrente e sem rastreabilidade. Quando alguém pergunta de onde saiu determinada resposta, um sistema baseado em recuperação aponta o documento; um modelo ajustado aponta para si mesmo. Em contexto sujeito a auditoria, essa diferença costuma valer mais do que qualquer ponto percentual de acurácia.

Ordem de intervenção, do mais barato ao mais caro

Havendo teto de recuperação baixo, a sequência que costuma render mais por hora investida é esta. Primeiro, higiene do acervo: eliminar duplicata, marcar vigência, retirar o que está revogado. É trabalho de conteúdo, não de engenharia, e frequentemente é o que devolve mais pontos de recall.

Depois, revisar fragmentação e metadados — respeitar limite de seção, manter tabela inteira em um mesmo bloco, carimbar área, produto e data em cada trecho para permitir filtro antes da busca. Em seguida, busca híbrida, combinando busca vetorial com busca por termo. Vocabulário interno, sigla e código de produto costumam ser mal representados em embedding genérico, e é justamente isso que o usuário digita.

Só então entram reordenador dedicado e ajuste de prompt com exigência de citação de trecho. Ajuste fino do modelo fica por último, e na maioria dos casos corporativos não chega a ser necessário — quando chega, é para formato e tom, raramente para conhecimento.

Se fosse preciso escolher uma única mudança para um assistente interno que já está em produção e decepciona, a escolha seria a busca híbrida com filtro por metadado de vigência. É a intervenção que ataca ao mesmo tempo o vocabulário interno e o problema de documento velho, que juntos explicam boa parte dos erros relatados pelo usuário final.

Perguntas frequentes

Quantas perguntas o conjunto de avaliação precisa ter?

Algumas dezenas já revelam padrão; algumas centenas dão estabilidade para comparar versões. Prioridade absoluta para perguntas extraídas de log real, não escritas pelo time técnico.

Dá para medir fidelidade sem revisão manual?

Dá, usando um modelo como avaliador que verifica cada afirmação contra o contexto. Vale calibrar o avaliador contra uma amostra revisada por pessoa antes de confiar no número em série.

Qual valor de k usar na recuperação?

Depende do tamanho do bloco e do custo aceitável. O método é medir recall@k para valores crescentes e parar onde a curva achata — aumentar k depois desse ponto adiciona ruído sem adicionar informação.

Busca vetorial pura nunca basta?

Basta quando o vocabulário do usuário se parece com o do documento e não há sigla nem código proprietário. Em base corporativa isso é raro, e o teste de recall com perguntas reais mostra a diferença em poucas horas.

Com que frequência reavaliar?

A cada alteração relevante no acervo e a cada troca de componente do pipeline. Acervo vivo degrada recuperação em silêncio, e sem reavaliação periódica a queda só aparece na reclamação do usuário.