Blog

Uma pergunta resolve mais projeto de inteligência artificial do que a escolha da arquitetura do modelo: quantos registros da base têm, ao mesmo tempo, o rótulo correto, as variáveis preenchidas e a garantia de que essas variáveis já existiam no instante em que a decisão precisava ser tomada? Em auditorias de base feitas antes de projetos de classificação, esse número costuma ficar bem abaixo do total que aparece no relatório do banco. Quedas de metade ou mais são comuns quando os três filtros são aplicados juntos — a magnitude varia bastante por setor e por maturidade de coleta, então trate isso como padrão observado, não como percentual fechado.

O framework abaixo é uma sequência de cinco verificações, cada uma com um número de saída. A ordem importa: cada etapa reduz a base que a seguinte examina, e parar na etapa 2 com uma base já inviável economiza semanas de engenharia de features sobre dados que não sustentariam o resultado.

Etapa 1 — Cobertura efetiva: quantas linhas o modelo vai realmente ver

A primeira medição separa registros existentes de registros utilizáveis. Um pedido de crédito arquivado há seis anos existe na tabela, mas se o formulário mudou de campos em 2024, ele não contribui com as mesmas variáveis dos pedidos recentes. O procedimento é simples e quase sempre revelador:

1. Conte o total bruto de registros no período que interessa. Defina o período pela estabilidade do processo, não pela disponibilidade do dado — se a regra de negócio mudou, o corte é ali.
2. Aplique o filtro de completude por variável obrigatória. Para cada campo que o modelo vai usar, meça o percentual de preenchimento; qualquer variável abaixo de 70% de preenchimento é candidata a ser cortada ou tratada como categoria própria.
3. Meça a interseção, não a média. Este é o erro mais frequente da etapa. Cinco variáveis com 90% de preenchimento cada não produzem uma base 90% completa: se as ausências forem independentes, sobram cerca de 59% dos registros com todas as cinco preenchidas. Na prática as ausências são correlacionadas e o número real fica em algum ponto entre 59% e 90%, mas quase nunca perto do topo.

O mercado tende a tratar dado faltante como problema de imputação. Em boa parte dos casos, ausência não é ruído — é sinal. Um campo de renda vazio pode significar que o analista não perguntou porque já tinha decidido negar. Imputar a mediana ali destrói informação e infla artificialmente a performance de treino.

Etapa 2 — Procedência do rótulo: quem decidiu que aquilo é verdade

Modelo supervisionado aprende a reproduzir um rótulo. Se o rótulo foi gerado por um processo enviesado, o modelo aprende o viés com eficiência exemplar. A auditoria de rótulo responde três perguntas antes de qualquer treino.

Quem produziu o rótulo? Rótulo automático (o cliente cancelou ou não cancelou) tem procedência diferente de rótulo humano (o analista marcou como fraude). O segundo carrega a subjetividade e a carga de trabalho de quem marcou. Se três analistas rotularam a base e um deles marcou 40% mais casos positivos que os outros dois, existe uma variável oculta chamada “quem analisou” que o modelo vai capturar.

O rótulo é observável para todos os registros? Aqui mora o viés de seleção mais caro de projetos de crédito e de triagem. Só se sabe se um cliente pagaria se ele recebeu o crédito. A base de treino contém apenas quem passou pelo filtro anterior — e o modelo treinado nela extrapola para uma população que nunca observou. Não há solução puramente estatística; a mitigação envolve reservar uma fatia de decisões aleatórias para gerar rótulo em toda a distribuição, com o custo que isso implica.

Qual a taxa de concordância entre rotuladores? Onde houver julgamento humano, rotule uma amostra em duplicata. Concordância abaixo de 80% em tarefa binária significa que o teto de acurácia do modelo já está definido pela inconsistência do rótulo, e nenhuma arquitetura vai passar disso.

Etapa 3 — Vazamento temporal: o dado existia no momento da decisão?

Esta é a etapa que mais frequentemente explica o modelo que acerta 94% em validação e desaba em produção. A verificação é conceitualmente trivial e operacionalmente trabalhosa: para cada variável, determine o carimbo de tempo em que aquele valor ficou disponível e compare com o carimbo do momento da inferência.

Os vazamentos mais comuns não são grosseiros. Ninguém coloca a variável alvo entre as features por descuido. O que acontece é mais sutil:

• Campo atualizado no lugar de versionado. A tabela de cadastro guarda o status atual do cliente, não o status na data do pedido. Se o campo “situação cadastral” foi sobrescrito depois do evento, ele já contém o desfecho.
• Agregado com janela mal fechada. “Média de compras nos últimos 90 dias” calculada com corte na data de extração, e não na data de cada evento, contamina todos os registros antigos com informação futura.
• Dado de terceiro com atraso de entrega. Um score externo pode existir na base com data de referência de segunda-feira, mas só chegar ao sistema na quinta. Em produção ele não estará lá no momento da decisão.

O teste prático que revela quase todos: treine o modelo, ordene as features por importância e examine as três primeiras. Se alguma delas explica muito mais do que o especialista de negócio esperava, o cenário mais provável não é que o modelo descobriu algo — é vazamento.

Etapa 4 — Aderência à distribuição de produção

A base histórica descreve o passado do processo. O modelo vai operar sobre o presente. Quanto essas duas distribuições diferem determina quanto da performance medida em validação vai sobreviver.

A verificação mínima compara, variável a variável, a distribuição da base de treino com a de uma janela recente de produção — os últimos 30 a 60 dias, tipicamente. Para variáveis numéricas, compare os quartis; para categóricas, compare a frequência relativa das dez categorias mais comuns. Diferenças grandes em variáveis de alta importância exigem decisão explícita: reponderar a base, encurtar o período de treino ou aceitar que o modelo precisará de retreino frequente.

Vale medir também a estabilidade do próprio processo. Se a política comercial mudou em março, dados de janeiro descrevem outro fenômeno. Uma base de três anos que atravessa duas mudanças de política costuma render menos que uma base de dez meses sob regra estável — e essa é uma troca que o time de dados precisa fazer conscientemente, não por acidente.

Etapa 5 — Custo assimétrico do erro e a métrica que decorre dele

A última etapa não olha o dado, olha a decisão. Antes de escolher a métrica de avaliação, é preciso estimar o custo de um falso positivo e o de um falso negativo em unidade comparável — reais, horas de analista, chamados abertos. Sem isso, a discussão sobre limiar de corte vira preferência estética.

Quando os custos são assimétricos — e quase sempre são —, acurácia deixa de significar qualquer coisa. Num problema com 2% de eventos positivos, um modelo que responde “não” para tudo entrega 98% de acurácia e valor zero. A métrica útil nesse cenário é precisão em uma taxa de recall fixada pela capacidade operacional: se a equipe consegue analisar 200 casos por dia, o que importa é a precisão nos 200 casos de maior score, não a área sob a curva.

A recomendação, quando há discordância no time: fixe a métrica pela restrição operacional antes de treinar. Escolher a métrica depois de ver os resultados é o caminho mais curto para justificar um modelo que não resolve o problema.

Como pontuar as cinco etapas e decidir

Cada etapa produz um veredito. A tabela abaixo resume o critério de corte que costuma funcionar como ponto de partida — os limiares devem ser calibrados por contexto, mas servem para tirar a decisão do campo da opinião.

A etapa 3 é a única que funciona como bloqueio absoluto. As outras quatro admitem projeto com ressalva documentada. Vazamento temporal, não: um modelo com vazamento produz um número de performance que não descreve nada e cria expectativa que a operação vai cobrar depois.

Atualmente, com o custo de treinar modelos caindo e a barreira técnica diminuindo, o gargalo dos projetos migrou de forma bem clara da modelagem para a base. Rodar essas cinco verificações consome tipicamente de uma a três semanas de trabalho de um analista com acesso ao dado e a um especialista de negócio. É o investimento com melhor retorno em um projeto de IA aplicada, porque é o único que impede que os meses seguintes sejam gastos otimizando uma métrica que não descreve o problema real.

Perguntas frequentes

Qual o volume mínimo de dados para treinar um modelo? Não existe número universal, e a pergunta melhor formulada é sobre a classe minoritária. Para classificação binária tabular, o gargalo costuma ser a quantidade de exemplos positivos, não o total de linhas. Poucas centenas de casos positivos já permitem um modelo simples com validação honesta; alguns milhares abrem espaço para modelos mais expressivos. Abaixo disso, uma regra de negócio bem calibrada tende a competir de igual para igual — e é mais fácil de auditar.

Dá para pular a auditoria e testar direto em produção com uma fatia pequena? Testar em produção é útil, mas não substitui as etapas 2 e 3. Um teste A/B com rótulo enviesado ou com vazamento vai medir a coisa errada com mais precisão. A auditoria e o teste controlado são complementares: a primeira garante que a métrica significa algo, o segundo mede o efeito real.

Como convencer a diretoria de que a base não está pronta? Com o número da etapa 1. A frase “os dados precisam melhorar” não move orçamento; “temos 41 mil pedidos na base, mas 6,8 mil com todas as variáveis preenchidas na data da decisão, e destes 380 são casos positivos” muda a conversa, porque transforma um julgamento técnico em uma restrição contável.

Modelos de linguagem grandes dispensam esse tipo de auditoria? Dispensam a etapa de rotulagem em massa quando usados sem ajuste fino, mas herdam versões próprias das outras quatro. Cobertura vira qualidade e completude dos documentos recuperados; vazamento vira contaminação do conjunto de avaliação; aderência de distribuição vira diferença entre as perguntas testadas e as perguntas reais dos usuários; e o custo assimétrico do erro continua sendo a decisão que define qual limiar de confiança justifica responder em vez de encaminhar para um humano.

A pergunta que sustenta quase todo projeto de assistente de IA em atendimento é simples de enunciar e difícil de responder: quanto custava atender um cliente antes e quanto custa agora. O indicador que a maioria das empresas leva para a reunião de resultado é a taxa de contenção — o percentual de conversas que o assistente encerrou sem transbordar para um humano. Uma contenção de 60% soa como economia de 60%. Quase nunca é.

A contenção mede desvio de volume, não custo. Ela ignora o que acontece depois: o cliente que volta duas horas mais tarde pelo mesmo motivo, a conversa que chegou ao humano já degradada e demorou mais para resolver, o custo de inferência que subiu quando o time trocou o modelo por um mais capaz. Um assistente pode conter 60% das conversas e deixar o custo por resolução exatamente onde estava. Este texto descreve como montar a medição que separa um caso do outro.

Por que a taxa de contenção engana com tanta frequência

Contenção costuma ser definida como conversas encerradas no assistente sobre conversas totais. O problema mora nos dois lados da fração.

No numerador, “encerrada” quase sempre significa “o cliente parou de responder”. Abandono e resolução produzem exatamente o mesmo evento no log. Quem desiste e vai para o telefone, para o e-mail ou para a loja física entra na conta como sucesso. Em operações que já mediram isso com rastreamento de reincidência, a fatia de conversas contidas que reaparece em outro canal em até 72 horas costuma ficar na casa de dois dígitos — o número varia muito por setor e por qualidade do roteamento, mas raramente é desprezível o bastante para ser ignorado.

No denominador, o assistente muda o próprio volume que está medindo. Quando o atendimento fica instantâneo e disponível de madrugada, o cliente pergunta mais. Contatos que antes não aconteciam passam a acontecer. Isso é bom para experiência e péssimo para comparação: a base de conversas do mês 6 não é a mesma base do mês 1, e dividir custo pelo total de conversas produz uma queda artificial que não corresponde a nenhum real a menos na despesa.

A correção é trocar a unidade de análise. Não conte conversas. Conte problemas resolvidos.

Defina a unidade de custo antes de comparar qualquer coisa

Uma resolução é um problema do cliente que foi encerrado e não voltou dentro de uma janela definida. Os três parâmetros dessa definição precisam ser fixados por escrito antes da primeira medição, porque mexer neles depois permite provar qualquer coisa:

1. A janela de reincidência. Sete dias funciona bem para a maioria dos casos de suporte transacional. Para cobrança, faturamento e qualquer assunto com ciclo mensal, use trinta dias — reincidência de fatura não aparece em sete.
2. A chave de agrupamento. Duas conversas do mesmo cliente sobre o mesmo assunto dentro da janela são uma resolução, não duas. Sem essa regra, o assistente que devolve o cliente três vezes aparece nos números como três atendimentos bem-sucedidos.
3. O escopo de canal. Se o cliente que desiste do chat liga no dia seguinte, essa ligação pertence à mesma resolução. Medir só dentro do canal onde o assistente vive é o erro mais caro da lista, porque esconde exatamente o custo que o assistente está gerando.

Com a unidade definida, o cálculo fica direto: custo por resolução é a soma de todas as despesas de atendimento do período dividida pelo número de resoluções únicas do período. É esse número, e só ele, que precisa cair.

O custo que não aparece na fatura do modelo

A conta de inferência é a parte visível e normalmente a menor. Quando se soma o custo total, a fatura do provedor de modelo costuma responder por uma fração modesta do gasto do projeto — a maior parte está em trabalho humano que ninguém contabiliza como custo de IA. Os itens que precisam entrar na soma:

O quinto item merece atenção separada. Existe uma suposição confortável de que o assistente entrega ao humano uma conversa pré-qualificada, com contexto pronto, e portanto mais rápida de resolver. Acontece o contrário com frequência suficiente para justificar medição: o cliente chega ao humano já irritado, repetindo informação que julgava ter dado, e o atendente gasta os primeiros minutos desfazendo o que o assistente entendeu errado. Compare o tempo médio de atendimento das conversas transbordadas com o das conversas que entraram direto na fila humana. Se o transbordo demora mais, parte da economia de volume está sendo devolvida em minutos.

Como isolar o efeito do assistente do resto da operação

Comparar o mês anterior com o mês atual não prova nada. Atendimento tem sazonalidade forte, campanhas de marketing mudam o mix de contatos, uma falha de produto pode inflar o volume por duas semanas, e mudanças de política de reembolso alteram tempo de resolução sem que ninguém do time de IA saiba.

O desenho que resolve isso é o mais simples: mantenha uma fatia do tráfego fora do assistente. Um grupo de controle de 10% a 20% dos contatos, sorteado no momento da entrada e roteado direto para o fluxo humano, dá a linha de base contra a qual o restante é comparado. Rode por pelo menos quatro semanas — abaixo disso o ruído semanal domina o resultado.

Duas armadilhas de execução aparecem sempre. A primeira é sortear por cliente e não por conversa: se o mesmo cliente cai ora no controle, ora no tratamento, a atribuição de reincidência fica ambígua. Sorteie por cliente e mantenha a alocação estável durante todo o período. A segunda é deixar o grupo de controle ser atendido por um subconjunto diferente de atendentes — normalmente os mais experientes, porque a fila é menor. Isso contamina a comparação inteira.

Quando o controle aleatório não é viável — operações pequenas, ou casos em que negar o assistente a um grupo é politicamente impossível — a alternativa aceitável é o corte geográfico ou por linha de produto, com uma janela pré-lançamento longa o suficiente para caracterizar a diferença estrutural entre os grupos antes da intervenção. É pior que o sorteio, e o resultado deve ser apresentado como estimativa com margem, não como número fechado.

Sete campos que sustentam o cálculo inteiro

A medição não exige ferramenta nova. Exige que o log de cada conversa carregue os campos certos desde o primeiro dia, porque reconstruir isso depois é caro e frequentemente impossível. O mínimo viável:

1. ID do cliente — estável entre canais, não o ID da sessão. Sem isso não existe cálculo de reincidência.
2. Grupo experimental — controle ou tratamento, gravado na conversa e não inferido depois.
3. Intenção classificada — o assunto, em um vocabulário fechado. É a chave que agrupa conversas na mesma resolução.
4. Desfecho — resolvido pelo assistente, transbordado, ou abandonado, com abandono registrado como categoria própria e nunca somado a resolvido.
5. Tempo humano consumido — minutos de atendente, separando conversas transbordadas das nativas da fila.
6. Custo de inferência da conversa — tokens ou chamadas, atribuídos à conversa e não rateados no fim do mês.
7. Carimbo de tempo de entrada e de encerramento — necessário para aplicar a janela de reincidência sem ambiguidade.

Com esses sete campos, o custo por resolução de cada grupo sai de uma consulta. Sem eles, qualquer número apresentado é reconstrução aproximada, e vale dizer isso na reunião.

Que resultado esperar, e quando o projeto não se paga

Assistentes bem implantados entregam economia real, mas ela costuma vir de uma faixa estreita de assuntos: consultas repetitivas, de resposta determinística e verificável — status de pedido, segunda via, horário de funcionamento, elegibilidade simples. Nessa faixa, a queda de custo por resolução é consistente e defensável.

Fora dela, a economia some rápido. Assuntos com exceção contratual, negociação, ou qualquer coisa em que a resposta errada gera custo maior que o atendimento economizado — cobrança indevida, cancelamento, informação regulada — tendem a ficar no vermelho quando se soma o retrabalho. A decisão prática, havendo dúvida, é restringir o escopo do assistente aos assuntos de resposta verificável e transbordar cedo no resto, mesmo que a taxa de contenção caia. Um assistente com 35% de contenção e custo por resolução 20% menor vale mais do que um com 70% de contenção e custo estável.

Se depois de oito a doze semanas de medição com grupo de controle o custo por resolução do grupo tratado não estiver abaixo do controle por uma margem maior que a variação semanal observada, o projeto está entregando velocidade e disponibilidade — o que pode ser suficiente para justificá-lo — mas não está entregando economia. São coisas diferentes e merecem ser apresentadas como tal.

Perguntas frequentes

Quanto tempo de medição é suficiente para concluir alguma coisa?

Quatro semanas é o mínimo para ter sinal acima do ruído semanal; oito a doze semanas dá conforto para decidir investimento. Janelas mais curtas capturam efeito de novidade, tanto do cliente quanto do time, e superestimam o resultado.

Dá para medir sem grupo de controle?

Dá, com perda de confiança. A alternativa é comparar antes e depois controlando por mix de intenção e por volume, e apresentar o resultado como faixa. O risco é atribuir ao assistente uma queda que veio de mudança de produto, de política ou de sazonalidade.

O custo de inferência deve ser rateado ou atribuído por conversa?

Atribuído por conversa, sempre que a plataforma permitir. Rateio pelo total mensal esconde a distribuição: em operações típicas, uma minoria de conversas longas consome uma fatia desproporcional do gasto, e é essa cauda que costuma inviabilizar assuntos específicos.

Reincidência em outro canal realmente muda tanto o resultado?

Muda o suficiente para inverter conclusões em operações multicanal. Se o rastreamento entre canais não existe, a recomendação é declarar essa limitação junto com o número, em vez de apresentar o custo por resolução como se ele estivesse completo.

Qual métrica levar para a diretoria em uma linha só?

Custo por resolução do grupo tratado contra o do grupo de controle, no mesmo período, com o número de resoluções de cada lado. Contenção e satisfação entram como contexto, nunca como resposta à pergunta de custo.

Um classificador que acerta 94% das previsões parece pronto para produção. Ele pode ser o pior modelo do seu portfólio. A acurácia média é a métrica mais citada em apresentação de resultado de IA e uma das que menos ajuda a decidir alguma coisa — porque ela comprime, em um único número, um comportamento que quase nunca é uniforme entre os segmentos que importam.

O problema tratado aqui é específico: como saber se um modelo em produção está melhorando de verdade ou apenas parecendo melhor no slide. Vale para classificação de tickets de atendimento, score de propensão de compra, roteamento de chamados, detecção de fraude e para qualquer sistema em que a saída do modelo vira decisão automática sem revisão humana.

Por que a média sobe enquanto o sistema piora

A acurácia é uma média ponderada pelo volume de cada classe. Quando a distribuição da base é desequilibrada — e em problemas de negócio ela quase sempre é —, a classe majoritária domina o resultado. Em uma base com 95% de transações legítimas e 5% de fraude, um modelo que classifica tudo como legítimo entrega 95% de acurácia sem ter aprendido nada.

Esse caso é caricato e todo mundo reconhece. A versão perigosa é mais sutil: o modelo melhora na classe majoritária, piora na minoritária e a média sobe. O dashboard mostra evolução. A operação sente degradação. As duas leituras estão corretas, e só uma delas é sobre o que a empresa contratou o modelo para fazer.

Há um segundo efeito, menos discutido: mudança na composição da base entre um período e outro. Se o mix de canais, regiões ou produtos mudou, a acurácia agregada muda mesmo com o modelo congelado. Comparar 94% de junho com 91% de agosto sem verificar se a base é comparável é comparar duas coisas diferentes e chamar de série histórica.

Mito: “a métrica subiu, então o modelo melhorou”

Essa afirmação só se sustenta sob três condições que raramente são verificadas antes de repeti-la: a base de avaliação é a mesma nos dois períodos, o limiar de decisão não mudou, e a métrica escolhida penaliza o erro que custa dinheiro.

O limiar é o ponto cego mais comum. A maioria dos modelos de classificação devolve uma probabilidade, e alguém em algum momento decidiu que acima de 0,5 é positivo. Esse 0,5 é arbitrário. Mexer nele muda precisão e recall em direções opostas sem alterar uma linha do modelo. Times mudam limiar para resolver reclamação pontual, não registram a mudança, e três meses depois ninguém sabe explicar por que a série histórica tem um degrau.

A evidência que substitui a crença é simples de produzir: fixe a base de avaliação, fixe o limiar, e só então compare. Se algum dos dois precisar mudar, a comparação vira “antes e depois da mudança”, não “evolução do modelo”. Parece burocracia. É o que separa medição de narrativa.

Há uma terceira armadilha, específica de quem reavalia com dados recentes: vazamento temporal. Se a base de teste contém informação que só existiria depois do momento da decisão — um campo preenchido pelo atendente após a análise, um status atualizado retroativamente —, o modelo acerta na avaliação e erra em produção. O sintoma clássico é uma métrica excelente no teste que não se reproduz no primeiro mês real. Antes de comemorar salto grande de desempenho, a pergunta certa é qual variável nova entrou e em que instante ela ficaria disponível na vida real.

O que medir no lugar da média

Nenhuma métrica isolada resolve. O conjunto mínimo defensável para um classificador binário em produção tem quatro elementos, e cada um responde a uma pergunta diferente:

1. Precisão na classe de interesse — de tudo que o modelo apontou como positivo, quanto era mesmo. Responde ao custo do falso positivo: quantas vezes a operação foi acionada à toa.
2. Recall na classe de interesse — de tudo que era positivo, quanto o modelo pegou. Responde ao custo do falso negativo: quanto passou batido.
3. Calibração — quando o modelo diz 0,8, aproximadamente 80% daqueles casos são positivos. Um modelo pode ordenar bem e mentir na probabilidade, e isso quebra qualquer regra de negócio construída sobre faixas de score.
4. Desempenho no pior segmento — a mesma métrica, recalculada dentro de cada corte relevante. É o número que prevê reclamação.

Se for para escolher uma para o comitê que não vai ler o resto, escolha a quarta. A média agregada é a métrica que mais engana justamente porque é a mais fácil de reportar.

Fatiar a avaliação: onde o número muda de sinal

Recalcular a métrica por segmento é a intervenção de maior retorno em avaliação de modelo, e é barata. A tabela abaixo mostra o padrão típico de um score de propensão avaliado de forma agregada e depois fatiado — os valores são ilustrativos, mas a forma da distorção se repete em praticamente todo projeto:

Os cortes que valem a pena são sempre os mesmos quatro tipos: tempo de relacionamento, canal de origem, faixa de valor e recorte geográfico ou de produto. Não é necessário inventar segmentação nova — basta usar as dimensões que já existem no relatório gerencial, porque são elas que a área de negócio usa para cobrar resultado.

Uma regra prática: qualquer segmento com mais de 5% do volume merece métrica própria. Abaixo disso, o intervalo de confiança fica largo demais para sustentar decisão, e o correto é reportar a incerteza em vez de reportar o número.

Drift: o que o dashboard não mostra

Modelo em produção degrada mesmo sem ninguém tocar nele, porque o mundo que gerou os dados de treino muda. Há dois tipos e eles pedem respostas diferentes.

O primeiro é a mudança na distribuição das entradas — o perfil de quem chega mudou. É detectável sem nenhum rótulo, comparando a distribuição das variáveis de entrada da semana contra a janela de treino. É o alerta precoce, e o único que se consegue antes de o estrago aparecer no resultado.

O segundo é a mudança na relação entre entrada e saída — o mesmo perfil passou a se comportar de outro jeito. Esse só é detectável quando o rótulo verdadeiro chega, e o atraso até ele é a variável que define o quanto se está voando às cegas. Em fraude, o rótulo chega em dias. Em churn ou propensão de compra, pode levar meses. Quanto maior esse atraso, mais peso deve ter o monitoramento de entrada, porque é o único sinal disponível no intervalo.

Vale dizer o que é honesto: quase todo alerta de drift em produção é ruído sazonal. Fim de mês, campanha, feriado e mudança de layout no formulário produzem deslocamento de distribuição que não tem nada a ver com o modelo. Alerta de drift sem calendário de negócio ao lado gera fadiga de alarme e, em poucas semanas, ninguém olha mais.

Um protocolo de avaliação que sobrevive à auditoria

O que separa um time que mede de um time que apresenta número é a existência de um procedimento escrito antes do resultado. Seis passos bastam:

1. Congele uma base de referência. Um conjunto rotulado, fora do treino, que não muda entre avaliações. Toda comparação de versão roda contra ele.
2. Defina a métrica primária antes de rodar. Uma só, escolhida pelo custo do erro que dói mais. As outras entram como secundárias.
3. Registre o limiar junto com o resultado. Métrica sem limiar declarado é um número sem unidade.
4. Reporte por segmento, sempre. O agregado entra como contexto, não como conclusão.
5. Traduza para unidade de negócio. Quantos chamados a mais, quantas horas de análise economizadas, qual valor em risco. Um ganho de três pontos em recall que não muda nada operacionalmente é ruído estatístico com apresentação bonita.
6. Guarde a versão do modelo, dos dados e do código de avaliação. Resultado que não pode ser reproduzido em seis meses não é evidência.

Entre investir em um modelo mais sofisticado e investir nesse protocolo, a escolha aqui é o protocolo — e sem hesitação. Ganho de arquitetura tem retorno decrescente rápido; capacidade de saber se o ganho existiu é o que permite tomar qualquer decisão seguinte. Times que pulam essa etapa acabam trocando de modelo por intuição e chamando isso de iteração.

Perguntas frequentes

Acurácia nunca serve para nada?

Serve quando as classes são razoavelmente equilibradas e o custo do falso positivo e do falso negativo é parecido. Isso é raro em problema de negócio, mas acontece — em algumas tarefas de classificação de conteúdo, por exemplo. O erro não é usar acurácia, é usá-la sem verificar se essas duas condições valem.

Qual o tamanho mínimo da base de avaliação?

Depende da taxa da classe rara, não do total. O que importa é ter casos positivos suficientes para que a métrica não oscile com meia dúzia de exemplos. Uma referência de trabalho: algumas centenas de positivos por segmento que se pretende reportar. Com menos que isso, reporte o intervalo, não o ponto.

Com que frequência reavaliar um modelo em produção?

Monitoramento de distribuição de entrada, contínuo ou semanal. Reavaliação completa com rótulo verdadeiro, na cadência em que o rótulo chega — não faz sentido rodar avaliação mensal se o rótulo leva noventa dias para materializar. Ajuste a frequência ao dado, não ao calendário da reunião.

E para modelos de linguagem, vale o mesmo raciocínio?

A lógica vale, as métricas mudam. Não há classe positiva óbvia, então a avaliação passa por conjuntos de casos representativos com critério de aceitação declarado por tipo de tarefa. O princípio permanece: nota média agregada esconde a categoria de pergunta em que o sistema falha, e é essa categoria que vira reclamação.

A pergunta chega toda semana em alguma reunião de marketing: “Em que posição estamos nas respostas do ChatGPT?” A pergunta parece razoável, e é justamente por isso que merece desconfiança. Ela pressupõe que existe, para respostas geradas por IA, algo equivalente à posição no Google, um número estável, comparável entre datas e atribuível a uma ação sua. Hoje, essa premissa não se sustenta.

Este texto separa o que se consegue medir com método do que costuma ser vendido como métrica sem ter lastro, e propõe uma forma de acompanhar visibilidade em IA sem prometer mais precisão do que os dados oferecem.

O mito: existe um “ranking” em respostas de IA

Na busca tradicional, uma consulta devolve uma lista ordenada, e a posição de uma página é um fato observável naquele momento, com variação por localização e personalização. Em assistentes de IA, a resposta é gerada, não recuperada de uma lista fixa. A mesma pergunta, feita duas vezes, pode produzir textos diferentes, citar marcas diferentes ou não citar ninguém. Há variação por modelo, por versão, por configuração de busca na web e pelo histórico da conversa.

Isso significa que “estamos em terceiro lugar” é uma afirmação sem significado estatístico se vem de uma única consulta. O que se pode dizer, com amostra suficiente, é algo diferente: em tantas respostas a este conjunto de perguntas, nossa marca apareceu em tal proporção.

Evidência: por que uma resposta isolada engana

Imagine um teste hipotético, apenas para ilustrar a lógica. Você faz uma pergunta importante do seu mercado dez vezes, em dias diferentes. Sua marca aparece em três respostas. Qual é a visibilidade? Três em dez, ou 30%? Com uma amostra tão pequena, o intervalo de incerteza é grande: o valor real poderia estar bem abaixo ou bem acima disso. Se você repetir o teste cinquenta vezes e obtiver 14 menções, a estimativa fica em torno de 28%, mas com margem menor.

O ponto metodológico é conhecido de quem trabalha com pesquisa: a precisão depende do tamanho da amostra, e proporções calculadas sobre poucas observações oscilam muito. Qualquer ferramenta que entrega um índice de visibilidade deveria informar quantas consultas rodou, em quais modelos, em que período e com que variação entre repetições. Se não informa, trate o número como indicativo, não como medida.

Método: como montar uma medição defensável

1. Defina o conjunto de perguntas. Reúna de vinte a cinquenta perguntas reais do seu público, agrupadas por etapa: descoberta, comparação e decisão. Use as dúvidas que aparecem em atendimento, vendas e Search Console. O conjunto fica fixo por trimestre.
2. Escolha os assistentes que importam para o seu público. Não é preciso cobrir todos. Cubra aqueles em que seus clientes de fato pesquisam, e documente a versão e o modo de uso, com ou sem busca na web.
3. Repita cada pergunta várias vezes. Rode no mínimo cinco repetições por pergunta e por assistente, em momentos diferentes, para medir variação.
4. Registre o que importa de cada resposta. Marca citada ou não, contexto da menção (recomendação, comparação, alerta), fontes citadas e concorrentes mencionados.
5. Calcule taxas, não posições. Taxa de menção por assistente, por etapa e por concorrente, com a amplitude entre repetições.

Com esse registro, a pergunta “estamos aparecendo?” ganha resposta com data, amostra e margem. E você passa a ter base para ver se uma ação, como publicar um estudo ou atualizar uma página de comparação, coincide com mudança no padrão.

Comparação: o que cada fonte de dado entrega

Nenhuma delas basta sozinha. A combinação dá uma imagem mais confiável: o teste fixo mostra se você é citado, o analytics mostra se isso gera visita, e o campo “como nos conheceu” mostra se chega ao negócio.

Interpretação: o que fazer com o número

Quando a taxa de menção é baixa, o primeiro diagnóstico é de conteúdo, não de técnica: sua marca tem material claro e citável sobre as perguntas do conjunto? Páginas que respondem a pergunta de forma direta, com definição, critérios e dados com origem declarada, têm mais chance de servir como fonte do que páginas genéricas.

Quando você aparece, mas em contexto errado, por exemplo associada a uma categoria que não é a sua, o ajuste é de posicionamento: revise como o seu site, perfis públicos e menções de terceiros descrevem o que você faz. Modelos tendem a refletir o que está consistente na web.

Quando concorrentes dominam, olhe quais fontes eles têm que você não tem. Em muitos casos, a diferença está em ser citado por terceiros confiáveis do setor, não no próprio site.

Armadilhas que distorcem a medição

A primeira é escolher perguntas que já citam o nome da marca. Se você pergunta “o que é a empresa X?”, a menção é quase garantida e o teste não diz nada sobre descoberta. Use perguntas sobre o problema do cliente, sem nomear ninguém.

A segunda é misturar condições. Rodar parte das consultas com busca na web ativada e parte sem, ou alternar contas com histórico diferente, cria diferenças que parecem mudança de visibilidade e são só mudança de método. Documente as condições e mantenha-as.

A terceira é o viés de quem mede. Quem torce pelo resultado tende a repetir a pergunta até a marca aparecer. Defina o número de repetições antes e registre todas, inclusive as que não mencionam você.

A quarta é confundir menção com recomendação. Aparecer numa lista de “opções a evitar” conta como menção, mas não como visibilidade desejável. Por isso o registro do contexto da citação é parte do método, não um detalhe opcional.

Como montar a planilha de acompanhamento

Uma estrutura enxuta basta para começar. Cada linha é uma resposta observada, com as colunas: data, assistente e versão, pergunta, número da repetição, marca citada (sim ou não), contexto (recomendação, comparação, alerta ou neutro), concorrentes citados e fontes citadas. A partir daí, tabelas dinâmicas entregam taxa de menção por pergunta, por etapa e por assistente.

Acrescente uma coluna de observação livre para anotar mudanças no ambiente, como atualização de modelo, campanha em andamento ou publicação de conteúdo novo. Quando a taxa oscilar, você vai querer saber o que mudou naquela janela. Sem esse diário, qualquer explicação posterior vira palpite.

O que reportar à diretoria

Resista a transformar tudo em um índice único. Apresente três linhas: taxa de menção no conjunto fixo, com intervalo e tamanho da amostra; tráfego e conversões atribuíveis a assistentes no analytics; e menções declaradas por clientes. Mostre a tendência ao longo de trimestres, não a foto da semana. E diga explicitamente o que não é medido.

Esse cuidado protege você de uma situação comum: o gestor leva o “ranking” para uma reunião, o número muda na semana seguinte sem que nada tenha sido feito, e a credibilidade de toda a medição cai junto.

Como saber se uma mudança foi causada por sua ação

Esta é a pergunta que a diretoria sempre faz depois de ver o primeiro gráfico: “o que causou a subida?”. A resposta honesta exige cautela. Como as respostas de IA variam por natureza, uma alta de poucos pontos percentuais entre duas medições pode ser só ruído amostral.

Um critério prático é comparar a mudança com a oscilação normal observada nas repetições. Se a taxa de menção varia entre 20% e 30% de uma rodada a outra sem que nada tenha sido feito, uma alta de 28% para 32% não conta como evidência. Uma sequência de três ou mais rodadas acima da faixa anterior, depois de uma ação específica e datada, já merece atenção.

Quando possível, use um grupo de comparação interno: perguntas sobre temas em que você publicou conteúdo novo contra perguntas sobre temas em que não publicou nada. Se apenas o primeiro grupo sobe, a hipótese de causa ganha força. Se os dois sobem juntos, provavelmente houve mudança no modelo ou no ambiente, e não efeito da sua ação.

Documente cada ação com data e responsável numa linha do tempo compartilhada. Parece burocracia, mas é o que permite, meses depois, relacionar a publicação de um estudo ou a revisão de uma página com a variação da taxa de menção, sem depender da memória de ninguém.

Perguntas frequentes

Existe uma métrica padrão para visibilidade em IA?

Não há padrão consolidado. A taxa de menção sobre um conjunto fixo de perguntas é a base mais defensável, mas cada ferramenta define o seu índice de forma diferente.

Quantas repetições são suficientes?

Depende da variação que você observar. Cinco repetições por pergunta é um ponto de partida para enxergar oscilação; aumente se os resultados variarem muito.

Vale a pena investir em ferramenta paga agora?

Se o volume de perguntas justifica automação e o fornecedor explica a metodologia, pode valer. Sem essa transparência, o teste manual bem desenhado costuma ser mais confiável.

Isso substitui o acompanhamento de SEO?

Não. Os dois se complementam: boa parte das respostas com busca na web usa páginas que já se destacam em buscadores, então a base de SEO continua relevante.

Quantas vezes o seu site aparece como fonte nas respostas de assistentes de IA para as perguntas que o seu cliente faz? A maioria das equipes não sabe, e a razão não é descuido: não existe, hoje, um painel nativo que entregue esse número como o Search Console entrega impressões. Quem quer levar o assunto para dentro da empresa precisa construir a própria medição, e o que segue é um framework em cinco etapas para isso, com os limites de cada uma.

Por que a medição de visibilidade em IA é diferente da de SEO

No SEO tradicional, a unidade é a posição: uma consulta, uma página de resultados, um ranking. Em respostas geradas por IA, a resposta muda a cada execução, varia conforme o modelo, o histórico da conversa e, em alguns produtos, a localização do usuário. O mesmo prompt rodado dez vezes pode citar a sua marca em três, em sete ou em nenhuma das execuções. Medir uma vez e anotar o resultado produz um número sem valor.

Isso muda a pergunta de medição. Em vez de “qual é a minha posição?”, a pergunta passa a ser “em que proporção das execuções a minha marca ou o meu conteúdo aparece, para um conjunto estável de perguntas?”. É uma taxa, e taxas pedem amostra.

Etapa 1: defina o conjunto de perguntas

O ponto de partida é uma lista fixa de perguntas, escolhidas porque representam a decisão de compra ou a dúvida real do cliente, e não por serem as palavras-chave de maior volume. Quem tem um dashboard de busca orgânica já tem material: consultas do Search Console formuladas como pergunta, perguntas recorrentes no atendimento e objeções que aparecem em reuniões comerciais.

Um bom conjunto inicial tem entre 30 e 100 perguntas, agrupadas por etapa: descoberta, comparação e decisão. O número é uma ordem de grandeza razoável para quem começa; equipes pequenas conseguem sustentar o mínimo, e cada ampliação aumenta o custo de coleta. O ponto crítico é que a lista seja congelada. Trocar perguntas a cada rodada impede qualquer comparação ao longo do tempo.

Etapa 2: padronize a coleta

A coleta é onde a maioria dos esforços se perde. Para que a taxa de citação seja comparável, padronize os seguintes elementos:

1. Plataformas: escolha de duas a quatro que o seu público realmente usa, e mantenha a mesma lista.
2. Repetições: execute cada pergunta várias vezes, por exemplo cinco, para absorver a variação entre respostas.
3. Contexto: use sessões novas, sem histórico, e registre se a ferramenta usa busca na web ou só conhecimento do modelo.
4. Calendário: rode a coleta em frequência fixa, quinzenal ou mensal, nos mesmos dias.
5. Registro: salve a resposta completa, a data, a plataforma e as fontes citadas, não só um “sim” ou “não”.

Cada item existe por um motivo. Sem repetição, a variação aleatória parece tendência. Sem registro da resposta completa, não é possível reanalisar quando a pergunta de medição muda.

Erros de coleta que invalidam a série

Alguns problemas se repetem. Reescrever perguntas “para ficarem melhores” no meio do período quebra a comparação. Coletar sempre no mesmo dispositivo e com a conta logada pode enviesar respostas personalizadas. Misturar respostas com busca ativada e sem busca em uma mesma média leva a conclusões sem sentido, porque a lógica de seleção de fontes é outra. E guardar só o resultado resumido impede a revisão futura: quando o critério de classificação mudar, e ele mudará, será preciso reclassificar o material bruto. Se possível, mantenha um arquivo com todas as respostas, mesmo que ninguém vá lê-las agora.

Etapa 3: classifique cada resposta

Presença de marca é só um dos resultados possíveis, e tratá-la como binária esconde diferenças importantes. Uma classificação em quatro níveis dá mais informação:

• Citação com link para o seu domínio.
• Menção da marca sem link.
• Conteúdo seu usado como base, sem atribuição (percebido por semelhança de dados ou estrutura).
• Ausência.

O terceiro nível é difícil de verificar e deve ser tratado com cautela, porque depende de interpretação humana. Muitas equipes optam por medir apenas os dois primeiros e a ausência. Seja qual for a escolha, documente o critério por escrito, e faça a classificação de uma amostra por duas pessoas diferentes para checar a concordância entre elas.

Etapa 4: compare com um ponto de referência

Uma taxa de citação isolada, como 18%, não diz se é boa ou ruim. Ela ganha sentido na comparação com dois referenciais. O primeiro é você mesmo ao longo do tempo: a tendência entre rodadas, com a mesma lista de perguntas. O segundo é um conjunto pequeno de concorrentes diretos, medidos com o mesmo método. Sem esse segundo referencial, uma melhora pode significar apenas que a plataforma passou a citar mais fontes em geral.

Quando a amostra é pequena, a variação entre rodadas pode ser grande o bastante para mascarar qualquer efeito. Como regra de cautela, só trate uma mudança como real se ela se repetir em duas ou mais rodadas consecutivas. Uma variação de poucos pontos percentuais em uma única rodada, com algumas dezenas de perguntas, costuma ser ruído.

Etapa 5: ligue a métrica a uma ação

Medir sem agir é relatório. Para cada pergunta em que a marca está ausente, vale investigar o que as respostas citam no lugar: um comparativo, uma documentação oficial, um fórum, um conteúdo com dado próprio. Em geral aparece um padrão, e ele aponta o que produzir. Conteúdo que traz dado original, definições claras e estrutura fácil de extrair tem mais chance de ser aproveitado, embora nenhuma tática dê garantia, já que as plataformas não publicam seus critérios de seleção.

Depois de publicar ou atualizar uma página, espere ao menos uma ou duas rodadas completas antes de avaliar o efeito, porque a atualização das fontes por parte das plataformas não é imediata e varia. Registre cada mudança em um diário, com data, para poder relacionar a variação a uma causa possível.

Um exemplo numérico, só para fixar a conta

Imagine, como exercício e sem relação com dado real, um conjunto de 40 perguntas, três plataformas e cinco repetições por pergunta. São 40 × 3 × 5 = 600 respostas por rodada. Se a marca aparece, com link ou menção, em 90 delas, a taxa de citação é 90 ÷ 600 = 15%. Na rodada seguinte, com a mesma lista, aparece em 102: 17%. A diferença de dois pontos percentuais equivale a 12 respostas e, com esse tamanho de amostra, pode perfeitamente ser variação normal. Só quando a taxa se mantém acima do patamar anterior por duas ou três rodadas é que vale chamar de tendência.

Repare também que a taxa precisa ser calculada por plataforma e por etapa da jornada, além do total. Um 15% agregado pode esconder 40% em perguntas de descoberta e 0% em perguntas de decisão, e a ação a tomar é completamente diferente em cada caso. O agregado serve para o resumo da diretoria; a decisão sai do detalhe.

O limite que precisa ficar claro para a diretoria é que essa medição estima presença, não receita. A relação entre citação em IA e conversão ainda depende de leitura de analytics de tráfego referido, de pesquisas com clientes sobre como conheceram a empresa e de bom senso. Quem promete uma ligação direta está vendendo mais certeza do que o método permite.

Quem deve ser o dono da métrica

Uma métrica nova sem responsável vira slide esquecido. Defina quem coleta, quem classifica e quem decide a ação a partir do resultado. Em equipes pequenas, a mesma pessoa pode fazer as duas primeiras tarefas, desde que outra revise uma amostra da classificação. A decisão sobre o que produzir fica melhor com quem toca o conteúdo e o SEO, porque é ali que a lista de ausências vira pauta. Combine também um ritual curto: vinte minutos por rodada para olhar a taxa por etapa, as três perguntas com maior queda e as três com maior ganho, e registrar uma decisão por rodada, ainda que seja “não mudar nada e coletar de novo”. Esse registro, ao longo de seis meses, vale mais do que qualquer relatório isolado, pois mostra o que foi feito e o que aconteceu depois.

Se a empresa já tem uma rotina de relatório mensal de SEO, encaixe a taxa de citação nela como uma linha a mais, com o mesmo cuidado de sempre indicar a amostra, o período e a metodologia no rodapé.

Perguntas frequentes

Preciso de uma ferramenta paga para fazer isso?

Não necessariamente. Uma planilha, um conjunto fixo de perguntas e disciplina de coleta já produzem uma série utilizável. Ferramentas ajudam a escalar a coleta e a reduzir trabalho manual, mas não eliminam a necessidade de definir as perguntas e o critério de classificação.

Quantas execuções por pergunta são suficientes?

Não há número universal. Cinco repetições é um ponto de partida comum para suavizar a variação; se as respostas variarem muito, aumente.

A taxa de citação substitui as métricas de SEO?

Não. Ela complementa. Tráfego orgânico, impressões e cliques continuam sendo medidos nas suas fontes, e a visibilidade em IA entra como mais uma camada de leitura.

Quantas vezes sua marca aparece quando alguém faz uma pergunta da sua categoria a um assistente de IA? Quase ninguém sabe responder, e quem responde costuma usar um teste que não resiste a uma pergunta do diretor: três prompts digitados na mão, numa tarde, por uma pessoa só. O resultado é uma anedota, não uma métrica.

O problema de medir visibilidade em respostas geradas por IA é que a saída varia. A mesma pergunta, feita duas vezes, pode citar marcas diferentes. Isso muda o desenho da medição: em vez de checar se a marca aparece, o analista passa a estimar uma taxa de aparição, com um intervalo de incerteza. O framework abaixo organiza esse trabalho em cinco etapas, cada uma com um produto verificável.

Etapa 1: defina a unidade de medida antes de abrir qualquer ferramenta

A pergunta de partida precisa de um denominador. “A marca aparece” só faz sentido em relação a um conjunto de perguntas, e esse conjunto precisa ter dono e critério. Registre três definições por escrito antes de rodar qualquer coisa:

1. Evento de aparição: a marca é mencionada pelo nome no texto da resposta, com ou sem recomendação. Menção negativa conta como menção, mas deve ser marcada à parte.
2. Evento de citação: a resposta traz o domínio do site como fonte consultada. Aparição e citação são eventos diferentes, e uma marca pode ter muito de um e quase nada do outro.
3. Posição: a ordem em que a marca surge entre as marcas citadas na resposta, porque ser a primeira de cinco e ser a quinta de cinco não têm o mesmo valor.

Essa separação evita o erro mais comum do começo: somar tudo numa única pontuação de “visibilidade” que ninguém consegue interpretar. Cada evento vira uma taxa própria, e cada taxa responde a uma decisão diferente. A taxa de citação orienta o trabalho de conteúdo e de autoridade. A taxa de aparição reflete o que o modelo “sabe” sobre a marca. A posição diz algo sobre a força da associação com a categoria.

Etapa 2: monte o conjunto de perguntas como uma amostra, não como uma lista de desejos

O conjunto de perguntas é a amostra da pesquisa, e vale a lógica de qualquer amostra: se ela for escolhida a dedo para a marca ir bem, a taxa estará inflada. Uma composição defensável separa as perguntas em três grupos:

• Perguntas de categoria sem marca: “qual ferramenta usar para tal tarefa”, “como escolher tal solução”. São as que medem descoberta de verdade.
• Perguntas de comparação: “marca A ou marca B para tal caso”. Medem como o modelo posiciona a marca contra concorrentes nomeados.
• Perguntas de marca: “o que é a marca X”, “a marca X é confiável”. Medem o que o modelo diz quando já sabe de quem se trata, e servem para detectar erro factual.

Cuidado com a proporção. Se 70% do conjunto for de perguntas de marca, a taxa geral de aparição será alta quase por construção, e o número vai impressionar uma diretoria sem informar nada. Reporte sempre as três taxas separadas e trate a de categoria sem marca como o indicador principal.

Quanto ao tamanho, não existe número mágico que valha para todos os casos. Como ordem de grandeza, conjuntos de algumas dezenas de perguntas já mostram diferenças grandes entre marcas, mas diferenças pequenas exigem bem mais perguntas ou mais repetições. O que importa é calcular o intervalo de confiança da taxa e descartar conclusões quando os intervalos de dois períodos se sobrepõem.

Etapa 3: repita cada pergunta e trate a variação como dado

Como a resposta muda de uma execução para outra, cada pergunta deve ser rodada várias vezes, no mesmo dia, com as mesmas configurações. Cinco repetições por pergunta é um ponto de partida razoável; ajuste conforme a variação que você observar. A taxa de aparição de uma pergunta passa a ser a fração de repetições em que a marca surgiu, e a taxa geral é a média ponderada dessas frações.

Anote também o contexto de cada execução: qual assistente, qual modo (com ou sem busca na web), qual idioma, qual localização aparente. Assistentes que consultam a web e assistentes que respondem só com o conhecimento do treinamento têm comportamentos distintos, e misturar os dois num único número esconde a causa de qualquer mudança. Mantenha uma coluna para cada combinação.

Uma conta simples ajuda a calibrar a expectativa. Suponha, como exemplo hipotético, 40 perguntas com 5 repetições cada, totalizando 200 execuções, e uma marca que aparece em 50. A taxa observada é 25%. Com 200 execuções, a margem de erro dessa taxa fica na casa de alguns pontos percentuais para mais e para menos, pela aproximação usual de proporções. Se no mês seguinte a taxa for 29%, a diferença de quatro pontos pode ser ruído. Sem o intervalo, a equipe comemoraria uma melhora que a amostra não sustenta. Como as repetições da mesma pergunta não são independentes entre si, o intervalo real tende a ser mais largo que o da conta simples, outro motivo para a cautela.

Etapa 4: separe o que a marca controla do que ela não controla

Quando a taxa muda, três explicações competem: mudou o modelo ou o mecanismo de busca do assistente, mudou o que a marca publicou ou o que se publicou sobre ela, ou mudou a concorrência. Só a segunda está nas mãos do time. Para não atribuir ao próprio trabalho o que foi atualização de modelo, adote dois controles baratos.

O primeiro é um conjunto de marcas de referência, de categorias parecidas e sem relação com você, medidas com as mesmas perguntas. Se a taxa de todas sobe ou cai junto no mesmo período, a causa provável está no assistente. O segundo é um registro de intervenções: data de cada publicação relevante, de cada menção conquistada em veículos terceiros, de cada mudança estrutural no site. Sem esse registro, qualquer variação vira narrativa contada depois do fato.

Há ainda uma checagem de qualidade que quase nenhum painel inclui: a precisão do que é dito. Em cada resposta que menciona a marca, verifique se os fatos estão corretos (o que a empresa faz, para quem, quanto custa na ordem de grandeza). Uma taxa de aparição alta com 30% de respostas erradas é um problema de reputação, não um ganho, e o modo de corrigi-lo é diferente: passa por deixar a informação correta mais clara e mais repetida nas fontes que os modelos tendem a consultar.

Etapa 5: reporte com um formato que sobreviva à reunião

O relatório final deve caber numa tabela e numa frase de decisão. A estrutura abaixo funciona porque cada linha tem um número, uma incerteza e uma ação associada.

Defenda uma posição ao apresentar: visibilidade em IA é um indicador de acompanhamento e de diagnóstico, não uma meta de receita. Ela só vira argumento de investimento quando houver evidência de que as menções levam a visitas, cadastros ou vendas, e essa ligação costuma ser difícil de provar com precisão. Tráfego referido por assistentes aparece nas ferramentas de analytics em volume baixo na maioria dos sites, e parte do efeito acontece sem clique, quando a pessoa lê a marca na resposta e busca depois pelo nome. Uma pista indireta é acompanhar a busca por marca no Search Console ao lado da taxa de aparição, sem prometer causalidade.

Onde o framework falha

Três limitações merecem aviso explícito no relatório. Primeiro, os assistentes personalizam e mudam com frequência, então a medição descreve um recorte do que acontece nos dias da coleta, não o que cada pessoa vê. Segundo, perguntas escritas pela equipe de marketing tendem a soar diferente das escritas por clientes reais; sempre que possível, derive o conjunto de perguntas de fontes reais, como termos do Search Console, perguntas do atendimento e conversas de vendas. Terceiro, a coleta manual não escala: a partir de algumas centenas de execuções, automatize o que os termos de uso de cada serviço permitirem e registre a data da coleta de cada linha.

Nada disso torna a medição inútil. Ela só muda de natureza: deixa de ser um veredito e passa a ser uma série temporal com margem de erro, comparada contra controles. Esse é o padrão que o time de dados já usa em experimentos e em atribuição, aplicado a um canal novo.

Perguntas frequentes

Quantas perguntas preciso para começar?

Comece com algumas dezenas, distribuídas entre categoria, comparação e marca. Já dá para ver diferenças grandes. Para detectar variações pequenas, aumente repetições e perguntas e confira se os intervalos de confiança deixam de se sobrepor.

Posso usar uma ferramenta pronta de monitoramento?

Pode, desde que ela mostre o conjunto de perguntas, o número de execuções e o modo de cada assistente. Se o fornecedor entrega apenas uma pontuação sem esses detalhes, você não consegue auditar o número nem explicá-lo para a diretoria.

Com que frequência medir?

Mensal costuma bastar para tendência. Faça uma coleta extra logo após mudanças relevantes no site ou após notícias de atualização de um assistente, para separar causa interna de externa.

A taxa de aparição substitui as métricas de SEO?

Não. Ela complementa. Posição, cliques e conversões continuam respondendo por boa parte do resultado, e os dois conjuntos de indicadores devem aparecer lado a lado, com a mesma data de corte.