Quantas vezes sua marca aparece quando alguém faz uma pergunta da sua categoria a um assistente de IA? Quase ninguém sabe responder, e quem responde costuma usar um teste que não resiste a uma pergunta do diretor: três prompts digitados na mão, numa tarde, por uma pessoa só. O resultado é uma anedota, não uma métrica.
O problema de medir visibilidade em respostas geradas por IA é que a saída varia. A mesma pergunta, feita duas vezes, pode citar marcas diferentes. Isso muda o desenho da medição: em vez de checar se a marca aparece, o analista passa a estimar uma taxa de aparição, com um intervalo de incerteza. O framework abaixo organiza esse trabalho em cinco etapas, cada uma com um produto verificável.
Etapa 1: defina a unidade de medida antes de abrir qualquer ferramenta
A pergunta de partida precisa de um denominador. “A marca aparece” só faz sentido em relação a um conjunto de perguntas, e esse conjunto precisa ter dono e critério. Registre três definições por escrito antes de rodar qualquer coisa:
- Evento de aparição: a marca é mencionada pelo nome no texto da resposta, com ou sem recomendação. Menção negativa conta como menção, mas deve ser marcada à parte.
- Evento de citação: a resposta traz o domínio do site como fonte consultada. Aparição e citação são eventos diferentes, e uma marca pode ter muito de um e quase nada do outro.
- Posição: a ordem em que a marca surge entre as marcas citadas na resposta, porque ser a primeira de cinco e ser a quinta de cinco não têm o mesmo valor.
Essa separação evita o erro mais comum do começo: somar tudo numa única pontuação de “visibilidade” que ninguém consegue interpretar. Cada evento vira uma taxa própria, e cada taxa responde a uma decisão diferente. A taxa de citação orienta o trabalho de conteúdo e de autoridade. A taxa de aparição reflete o que o modelo “sabe” sobre a marca. A posição diz algo sobre a força da associação com a categoria.
Etapa 2: monte o conjunto de perguntas como uma amostra, não como uma lista de desejos
O conjunto de perguntas é a amostra da pesquisa, e vale a lógica de qualquer amostra: se ela for escolhida a dedo para a marca ir bem, a taxa estará inflada. Uma composição defensável separa as perguntas em três grupos:
- Perguntas de categoria sem marca: “qual ferramenta usar para tal tarefa”, “como escolher tal solução”. São as que medem descoberta de verdade.
- Perguntas de comparação: “marca A ou marca B para tal caso”. Medem como o modelo posiciona a marca contra concorrentes nomeados.
- Perguntas de marca: “o que é a marca X”, “a marca X é confiável”. Medem o que o modelo diz quando já sabe de quem se trata, e servem para detectar erro factual.
Cuidado com a proporção. Se 70% do conjunto for de perguntas de marca, a taxa geral de aparição será alta quase por construção, e o número vai impressionar uma diretoria sem informar nada. Reporte sempre as três taxas separadas e trate a de categoria sem marca como o indicador principal.
Quanto ao tamanho, não existe número mágico que valha para todos os casos. Como ordem de grandeza, conjuntos de algumas dezenas de perguntas já mostram diferenças grandes entre marcas, mas diferenças pequenas exigem bem mais perguntas ou mais repetições. O que importa é calcular o intervalo de confiança da taxa e descartar conclusões quando os intervalos de dois períodos se sobrepõem.
Etapa 3: repita cada pergunta e trate a variação como dado
Como a resposta muda de uma execução para outra, cada pergunta deve ser rodada várias vezes, no mesmo dia, com as mesmas configurações. Cinco repetições por pergunta é um ponto de partida razoável; ajuste conforme a variação que você observar. A taxa de aparição de uma pergunta passa a ser a fração de repetições em que a marca surgiu, e a taxa geral é a média ponderada dessas frações.
Anote também o contexto de cada execução: qual assistente, qual modo (com ou sem busca na web), qual idioma, qual localização aparente. Assistentes que consultam a web e assistentes que respondem só com o conhecimento do treinamento têm comportamentos distintos, e misturar os dois num único número esconde a causa de qualquer mudança. Mantenha uma coluna para cada combinação.
Uma conta simples ajuda a calibrar a expectativa. Suponha, como exemplo hipotético, 40 perguntas com 5 repetições cada, totalizando 200 execuções, e uma marca que aparece em 50. A taxa observada é 25%. Com 200 execuções, a margem de erro dessa taxa fica na casa de alguns pontos percentuais para mais e para menos, pela aproximação usual de proporções. Se no mês seguinte a taxa for 29%, a diferença de quatro pontos pode ser ruído. Sem o intervalo, a equipe comemoraria uma melhora que a amostra não sustenta. Como as repetições da mesma pergunta não são independentes entre si, o intervalo real tende a ser mais largo que o da conta simples, outro motivo para a cautela.
Etapa 4: separe o que a marca controla do que ela não controla
Quando a taxa muda, três explicações competem: mudou o modelo ou o mecanismo de busca do assistente, mudou o que a marca publicou ou o que se publicou sobre ela, ou mudou a concorrência. Só a segunda está nas mãos do time. Para não atribuir ao próprio trabalho o que foi atualização de modelo, adote dois controles baratos.
O primeiro é um conjunto de marcas de referência, de categorias parecidas e sem relação com você, medidas com as mesmas perguntas. Se a taxa de todas sobe ou cai junto no mesmo período, a causa provável está no assistente. O segundo é um registro de intervenções: data de cada publicação relevante, de cada menção conquistada em veículos terceiros, de cada mudança estrutural no site. Sem esse registro, qualquer variação vira narrativa contada depois do fato.
Há ainda uma checagem de qualidade que quase nenhum painel inclui: a precisão do que é dito. Em cada resposta que menciona a marca, verifique se os fatos estão corretos (o que a empresa faz, para quem, quanto custa na ordem de grandeza). Uma taxa de aparição alta com 30% de respostas erradas é um problema de reputação, não um ganho, e o modo de corrigi-lo é diferente: passa por deixar a informação correta mais clara e mais repetida nas fontes que os modelos tendem a consultar.
Etapa 5: reporte com um formato que sobreviva à reunião
O relatório final deve caber numa tabela e numa frase de decisão. A estrutura abaixo funciona porque cada linha tem um número, uma incerteza e uma ação associada.
| Indicador | Como ler | Decisão que orienta |
|---|---|---|
| Aparição em perguntas de categoria | Taxa com intervalo, por assistente e modo | Prioridade de conteúdo e de presença em fontes de terceiros |
| Citação do domínio | Taxa de execuções com o domínio como fonte | Estrutura das páginas, clareza das respostas, acessibilidade a rastreadores |
| Posição média | Posição entre as marcas citadas | Associação da marca com a categoria |
| Precisão factual | Percentual de respostas sem erro sobre a marca | Correção de informação nas fontes |
| Variação das marcas de referência | Mudança conjunta no período | Descontar efeito de atualização do assistente |
Defenda uma posição ao apresentar: visibilidade em IA é um indicador de acompanhamento e de diagnóstico, não uma meta de receita. Ela só vira argumento de investimento quando houver evidência de que as menções levam a visitas, cadastros ou vendas, e essa ligação costuma ser difícil de provar com precisão. Tráfego referido por assistentes aparece nas ferramentas de analytics em volume baixo na maioria dos sites, e parte do efeito acontece sem clique, quando a pessoa lê a marca na resposta e busca depois pelo nome. Uma pista indireta é acompanhar a busca por marca no Search Console ao lado da taxa de aparição, sem prometer causalidade.
Onde o framework falha
Três limitações merecem aviso explícito no relatório. Primeiro, os assistentes personalizam e mudam com frequência, então a medição descreve um recorte do que acontece nos dias da coleta, não o que cada pessoa vê. Segundo, perguntas escritas pela equipe de marketing tendem a soar diferente das escritas por clientes reais; sempre que possível, derive o conjunto de perguntas de fontes reais, como termos do Search Console, perguntas do atendimento e conversas de vendas. Terceiro, a coleta manual não escala: a partir de algumas centenas de execuções, automatize o que os termos de uso de cada serviço permitirem e registre a data da coleta de cada linha.
Nada disso torna a medição inútil. Ela só muda de natureza: deixa de ser um veredito e passa a ser uma série temporal com margem de erro, comparada contra controles. Esse é o padrão que o time de dados já usa em experimentos e em atribuição, aplicado a um canal novo.
Perguntas frequentes
Quantas perguntas preciso para começar?
Comece com algumas dezenas, distribuídas entre categoria, comparação e marca. Já dá para ver diferenças grandes. Para detectar variações pequenas, aumente repetições e perguntas e confira se os intervalos de confiança deixam de se sobrepor.
Posso usar uma ferramenta pronta de monitoramento?
Pode, desde que ela mostre o conjunto de perguntas, o número de execuções e o modo de cada assistente. Se o fornecedor entrega apenas uma pontuação sem esses detalhes, você não consegue auditar o número nem explicá-lo para a diretoria.
Com que frequência medir?
Mensal costuma bastar para tendência. Faça uma coleta extra logo após mudanças relevantes no site ou após notícias de atualização de um assistente, para separar causa interna de externa.
A taxa de aparição substitui as métricas de SEO?
Não. Ela complementa. Posição, cliques e conversões continuam respondendo por boa parte do resultado, e os dois conjuntos de indicadores devem aparecer lado a lado, com a mesma data de corte.
Deixe um comentário