A pergunta chega toda semana em alguma reunião de marketing: “Em que posição estamos nas respostas do ChatGPT?” A pergunta parece razoável, e é justamente por isso que merece desconfiança. Ela pressupõe que existe, para respostas geradas por IA, algo equivalente à posição no Google, um número estável, comparável entre datas e atribuível a uma ação sua. Hoje, essa premissa não se sustenta.
Este texto separa o que se consegue medir com método do que costuma ser vendido como métrica sem ter lastro, e propõe uma forma de acompanhar visibilidade em IA sem prometer mais precisão do que os dados oferecem.
O mito: existe um “ranking” em respostas de IA
Na busca tradicional, uma consulta devolve uma lista ordenada, e a posição de uma página é um fato observável naquele momento, com variação por localização e personalização. Em assistentes de IA, a resposta é gerada, não recuperada de uma lista fixa. A mesma pergunta, feita duas vezes, pode produzir textos diferentes, citar marcas diferentes ou não citar ninguém. Há variação por modelo, por versão, por configuração de busca na web e pelo histórico da conversa.
Isso significa que “estamos em terceiro lugar” é uma afirmação sem significado estatístico se vem de uma única consulta. O que se pode dizer, com amostra suficiente, é algo diferente: em tantas respostas a este conjunto de perguntas, nossa marca apareceu em tal proporção.
Evidência: por que uma resposta isolada engana
Imagine um teste hipotético, apenas para ilustrar a lógica. Você faz uma pergunta importante do seu mercado dez vezes, em dias diferentes. Sua marca aparece em três respostas. Qual é a visibilidade? Três em dez, ou 30%? Com uma amostra tão pequena, o intervalo de incerteza é grande: o valor real poderia estar bem abaixo ou bem acima disso. Se você repetir o teste cinquenta vezes e obtiver 14 menções, a estimativa fica em torno de 28%, mas com margem menor.
O ponto metodológico é conhecido de quem trabalha com pesquisa: a precisão depende do tamanho da amostra, e proporções calculadas sobre poucas observações oscilam muito. Qualquer ferramenta que entrega um índice de visibilidade deveria informar quantas consultas rodou, em quais modelos, em que período e com que variação entre repetições. Se não informa, trate o número como indicativo, não como medida.
Método: como montar uma medição defensável
- Defina o conjunto de perguntas. Reúna de vinte a cinquenta perguntas reais do seu público, agrupadas por etapa: descoberta, comparação e decisão. Use as dúvidas que aparecem em atendimento, vendas e Search Console. O conjunto fica fixo por trimestre.
- Escolha os assistentes que importam para o seu público. Não é preciso cobrir todos. Cubra aqueles em que seus clientes de fato pesquisam, e documente a versão e o modo de uso, com ou sem busca na web.
- Repita cada pergunta várias vezes. Rode no mínimo cinco repetições por pergunta e por assistente, em momentos diferentes, para medir variação.
- Registre o que importa de cada resposta. Marca citada ou não, contexto da menção (recomendação, comparação, alerta), fontes citadas e concorrentes mencionados.
- Calcule taxas, não posições. Taxa de menção por assistente, por etapa e por concorrente, com a amplitude entre repetições.
Com esse registro, a pergunta “estamos aparecendo?” ganha resposta com data, amostra e margem. E você passa a ter base para ver se uma ação, como publicar um estudo ou atualizar uma página de comparação, coincide com mudança no padrão.
Comparação: o que cada fonte de dado entrega
| Fonte | O que mostra | Limite principal |
|---|---|---|
| Teste manual com conjunto fixo | Taxa de menção e contexto, com leitura qualitativa | Trabalhoso e limitado em escala |
| Ferramentas de monitoramento de IA | Escala e histórico automatizados | Metodologia nem sempre transparente; pergunta e amostra definidas pelo fornecedor |
| Tráfego de referência de assistentes no analytics | Cliques reais vindos de respostas com link | Subestima a influência, pois muita gente lê a resposta e não clica |
| Pergunta em formulário e CRM (“como nos conheceu?”) | Menção declarada pelo cliente | Depende de preenchimento e de memória |
Nenhuma delas basta sozinha. A combinação dá uma imagem mais confiável: o teste fixo mostra se você é citado, o analytics mostra se isso gera visita, e o campo “como nos conheceu” mostra se chega ao negócio.
Interpretação: o que fazer com o número
Quando a taxa de menção é baixa, o primeiro diagnóstico é de conteúdo, não de técnica: sua marca tem material claro e citável sobre as perguntas do conjunto? Páginas que respondem a pergunta de forma direta, com definição, critérios e dados com origem declarada, têm mais chance de servir como fonte do que páginas genéricas.
Quando você aparece, mas em contexto errado, por exemplo associada a uma categoria que não é a sua, o ajuste é de posicionamento: revise como o seu site, perfis públicos e menções de terceiros descrevem o que você faz. Modelos tendem a refletir o que está consistente na web.
Quando concorrentes dominam, olhe quais fontes eles têm que você não tem. Em muitos casos, a diferença está em ser citado por terceiros confiáveis do setor, não no próprio site.
Armadilhas que distorcem a medição
A primeira é escolher perguntas que já citam o nome da marca. Se você pergunta “o que é a empresa X?”, a menção é quase garantida e o teste não diz nada sobre descoberta. Use perguntas sobre o problema do cliente, sem nomear ninguém.
A segunda é misturar condições. Rodar parte das consultas com busca na web ativada e parte sem, ou alternar contas com histórico diferente, cria diferenças que parecem mudança de visibilidade e são só mudança de método. Documente as condições e mantenha-as.
A terceira é o viés de quem mede. Quem torce pelo resultado tende a repetir a pergunta até a marca aparecer. Defina o número de repetições antes e registre todas, inclusive as que não mencionam você.
A quarta é confundir menção com recomendação. Aparecer numa lista de “opções a evitar” conta como menção, mas não como visibilidade desejável. Por isso o registro do contexto da citação é parte do método, não um detalhe opcional.
Como montar a planilha de acompanhamento
Uma estrutura enxuta basta para começar. Cada linha é uma resposta observada, com as colunas: data, assistente e versão, pergunta, número da repetição, marca citada (sim ou não), contexto (recomendação, comparação, alerta ou neutro), concorrentes citados e fontes citadas. A partir daí, tabelas dinâmicas entregam taxa de menção por pergunta, por etapa e por assistente.
Acrescente uma coluna de observação livre para anotar mudanças no ambiente, como atualização de modelo, campanha em andamento ou publicação de conteúdo novo. Quando a taxa oscilar, você vai querer saber o que mudou naquela janela. Sem esse diário, qualquer explicação posterior vira palpite.
O que reportar à diretoria
Resista a transformar tudo em um índice único. Apresente três linhas: taxa de menção no conjunto fixo, com intervalo e tamanho da amostra; tráfego e conversões atribuíveis a assistentes no analytics; e menções declaradas por clientes. Mostre a tendência ao longo de trimestres, não a foto da semana. E diga explicitamente o que não é medido.
Esse cuidado protege você de uma situação comum: o gestor leva o “ranking” para uma reunião, o número muda na semana seguinte sem que nada tenha sido feito, e a credibilidade de toda a medição cai junto.
Como saber se uma mudança foi causada por sua ação
Esta é a pergunta que a diretoria sempre faz depois de ver o primeiro gráfico: “o que causou a subida?”. A resposta honesta exige cautela. Como as respostas de IA variam por natureza, uma alta de poucos pontos percentuais entre duas medições pode ser só ruído amostral.
Um critério prático é comparar a mudança com a oscilação normal observada nas repetições. Se a taxa de menção varia entre 20% e 30% de uma rodada a outra sem que nada tenha sido feito, uma alta de 28% para 32% não conta como evidência. Uma sequência de três ou mais rodadas acima da faixa anterior, depois de uma ação específica e datada, já merece atenção.
Quando possível, use um grupo de comparação interno: perguntas sobre temas em que você publicou conteúdo novo contra perguntas sobre temas em que não publicou nada. Se apenas o primeiro grupo sobe, a hipótese de causa ganha força. Se os dois sobem juntos, provavelmente houve mudança no modelo ou no ambiente, e não efeito da sua ação.
Documente cada ação com data e responsável numa linha do tempo compartilhada. Parece burocracia, mas é o que permite, meses depois, relacionar a publicação de um estudo ou a revisão de uma página com a variação da taxa de menção, sem depender da memória de ninguém.
Perguntas frequentes
Existe uma métrica padrão para visibilidade em IA?
Não há padrão consolidado. A taxa de menção sobre um conjunto fixo de perguntas é a base mais defensável, mas cada ferramenta define o seu índice de forma diferente.
Quantas repetições são suficientes?
Depende da variação que você observar. Cinco repetições por pergunta é um ponto de partida para enxergar oscilação; aumente se os resultados variarem muito.
Vale a pena investir em ferramenta paga agora?
Se o volume de perguntas justifica automação e o fornecedor explica a metodologia, pode valer. Sem essa transparência, o teste manual bem desenhado costuma ser mais confiável.
Isso substitui o acompanhamento de SEO?
Não. Os dois se complementam: boa parte das respostas com busca na web usa páginas que já se destacam em buscadores, então a base de SEO continua relevante.
Deixe um comentário