Cinquenta perguntas feitas a um assistente de IA, doze respostas citando a sua marca: 24% de presença. O número cabe bem num slide e convence uma diretoria. O problema é que, com esse tamanho de amostra, o valor verdadeiro pode estar em qualquer ponto de uma faixa de aproximadamente 12 pontos percentuais para mais ou para menos. Uma queda de 24% para 18% na semana seguinte pode ser puro ruído.
Este texto propõe um método para medir presença de marca em respostas de IA com disciplina estatística básica. Os números de exemplo são ilustrativos; os de qualquer medição real dependem do seu conjunto de perguntas, dos assistentes testados e do momento da coleta.
Defina a métrica antes de coletar
“Presença” pode significar coisas diferentes, e misturar definições é a primeira fonte de erro. Escolha uma e escreva:
- Taxa de menção: percentual de respostas que citam a marca pelo nome. É a mais simples e a mais fácil de auditar.
- Taxa de recomendação: percentual de respostas em que a marca aparece como opção sugerida, não apenas citada de passagem. Exige critério de classificação por escrito.
- Posição média: em respostas com lista, em que posição a marca aparece. Útil, mas só faz sentido com amostra suficiente de listas.
- Participação relativa: menções da sua marca divididas pelo total de menções a marcas do mesmo grupo. Mostra o seu espaço frente aos concorrentes.
Monte o conjunto de perguntas como se fosse uma pesquisa
As perguntas precisam representar o que o seu cliente de fato pergunta, não o que o time de marketing gostaria que ele perguntasse. Uma boa fonte é o que o suporte e o time comercial ouvem, somado aos termos de busca que já trazem tráfego. Divida em grupos: perguntas de descoberta (“qual ferramenta usar para…”), de comparação (“A ou B para…”) e de decisão (“vale a pena contratar…”).
Dois cuidados evitam viés. O primeiro é não incluir o nome da sua marca nas perguntas de descoberta, porque isso garante a menção e infla o número. O segundo é variar a redação: a mesma intenção escrita de quatro formas diferentes revela se a presença depende de uma frase específica.
Calcule o tamanho da amostra e a margem de erro
A margem de erro aproximada para uma proporção p com n respostas é 1,96 × raiz de p(1−p)/n. Para p = 24% e n = 50, o resultado é cerca de 12 pontos percentuais. Para n = 200, cai para cerca de 6 pontos. Para n = 800, algo próximo de 3.
| Respostas (n) | Taxa observada | Margem de erro aproximada | Faixa plausível |
|---|---|---|---|
| 50 | 24% | ±12 p.p. | 12% a 36% |
| 200 | 24% | ±6 p.p. | 18% a 30% |
| 800 | 24% | ±3 p.p. | 21% a 27% |
Isso é uma aproximação, e vale com duas ressalvas. Respostas repetidas do mesmo assistente para a mesma pergunta não são amostras independentes, então a margem real tende a ser maior do que a calculada. E se a taxa é muito próxima de 0% ou de 100%, a fórmula perde precisão. Trate esses valores como ordem de grandeza.
Repita a coleta, porque a resposta muda
Assistentes de IA geram respostas com variação interna. A mesma pergunta, feita duas vezes seguidas, pode devolver listas diferentes. Por isso, rode cada pergunta mais de uma vez, em dias diferentes, e registre a data, o assistente e a versão informada, quando houver. Misturar coletas de modelos distintos num único percentual esconde diferenças relevantes: separe por assistente.
Uma regra prática é só chamar de tendência uma variação que se sustenta por pelo menos três coletas seguidas e que supera a margem de erro. Uma queda isolada de seis pontos com n = 50 não conta como evidência de nada.
Onde a medição engana
Há quatro armadilhas recorrentes. A primeira é o viés de formulação: perguntas escritas pelo time de marca favorecem a marca. A segunda é a mudança silenciosa do modelo: uma atualização do assistente muda os resultados sem que nada tenha mudado no seu site. A terceira é a confusão entre menção e impacto: ser citado não é o mesmo que gerar clique ou venda, e ligar uma coisa à outra exige dados de tráfego e de conversão que a medição de menções sozinha não fornece. A quarta é a personalização: respostas variam conforme o histórico e a localização de quem pergunta, então uma coleta feita em uma única conta pode não refletir o que o público vê.
Um exemplo completo, com números ilustrativos
Suponha uma empresa de software de gestão que monta um conjunto de 120 perguntas, divididas em três grupos de 40: descoberta, comparação e decisão. Cada pergunta é feita duas vezes por semana a dois assistentes, durante três semanas. Isso gera 120 × 2 × 2 × 3 = 1.440 respostas no total, ou 720 por assistente.
Na primeira semana, o assistente A cita a marca em 22% das respostas e, na terceira, em 27%. A diferença é de cinco pontos percentuais. Com 240 respostas por semana por assistente, a margem de erro de cada medida fica em torno de 5 a 6 pontos. Ou seja: a diferença está dentro do ruído, e afirmar que a marca “cresceu” seria precipitado. O que se pode dizer é que a medida está estável ou que há um sinal fraco de alta que precisa de mais coletas para ser confirmado.
No assistente B, a taxa vai de 10% para 24% ao longo das mesmas três semanas. Aqui a diferença é de 14 pontos, maior do que a soma das margens, e se repete em coletas consecutivas. Essa variação merece investigação: a empresa publicou conteúdo novo no período? O assistente mudou de versão? O concorrente principal perdeu presença? Sem registrar esses eventos junto da série, o número vira curiosidade.
Por fim, o grupo de perguntas importa. Se a presença no grupo de comparação é de 40% e no de descoberta é de 8%, o problema da marca é de visibilidade em quem ainda não a conhece, e a estratégia de conteúdo deve mirar nesse grupo. Médias gerais escondem esse padrão e levam a decisões erradas.
Como documentar a metodologia para que ela seja auditável
Uma medição só é útil se outra pessoa conseguir refazê-la e chegar ao mesmo resultado. Mantenha um documento de método com cinco itens: a lista completa de perguntas e a data da última revisão; a definição de cada métrica; a lista de assistentes e as versões, quando informadas; o procedimento de coleta, incluindo conta, idioma e localização; e as regras de classificação das respostas, com exemplos de casos duvidosos.
A classificação merece atenção especial. Quando duas pessoas classificam as mesmas 100 respostas de forma independente, a concordância entre elas indica se a regra está clara. Se discordam em muitos casos, a regra precisa ser reescrita antes de a série histórica ser comparada. Sem isso, a oscilação do número pode refletir mudança de quem classifica, e não mudança do assistente.
Guarde também as respostas brutas, com data e pergunta, em vez de guardar só o resultado agregado. Se a diretoria questionar um número daqui a seis meses, será possível voltar ao texto original. E se o critério mudar, é possível reclassificar todo o histórico, evitando uma quebra na série que inviabilize a comparação.
Por fim, estabeleça um calendário. Coletas semanais com o mesmo conjunto de perguntas por pelo menos oito a doze semanas formam uma linha de base suficiente para distinguir a variação normal de uma mudança real. Antes disso, qualquer interpretação deve ser apresentada como hipótese de trabalho.
Como levar isso para a reunião
Em vez de apresentar um percentual único, apresente três coisas: a taxa com a margem de erro, a comparação com os concorrentes no mesmo conjunto de perguntas e a variação ao longo de ao menos três coletas. Se a diretoria perguntar se vale investir em conteúdo para melhorar essa presença, a resposta honesta é que existem hipóteses plausíveis, mas poucas evidências causais publicadas, então o investimento deve ser tratado como experimento com métrica definida e prazo para reavaliar.
Resumindo o método em uma frase: defina a métrica, represente o público nas perguntas, calcule a margem de erro, repita a coleta e só chame de tendência o que sobrevive a três rodadas seguidas.
Perguntas frequentes
Quantas perguntas eu preciso, no mínimo?
Para comparar períodos com alguma confiança, procure algo na casa das centenas de respostas por assistente. Com menos de cinquenta, use o resultado apenas como exploração.
Posso automatizar a coleta?
Pode, desde que respeite os termos de uso de cada serviço. Automatizar ajuda a repetir a coleta, mas a classificação das respostas precisa de uma amostra revisada por humanos para checar erros.
Menção negativa conta?
Registre separadamente. Uma menção que recomenda não ficar com a sua marca tem valor oposto ao de uma recomendação, e somar as duas distorce o resultado.
Como saber se a mudança foi causada pelo meu conteúdo?
Em geral, não dá para saber só com esse tipo de medição. Para sustentar causalidade, compare páginas ou temas que receberam conteúdo novo com temas parecidos que não receberam, no mesmo período, e registre a data de cada publicação. Mesmo assim, o resultado é indício, não prova: assistentes mudam de versão, e concorrentes também publicam.
Vale medir também as fontes citadas pelo assistente?
Vale, quando o assistente informa fontes. Registrar quais domínios aparecem mostra de onde a resposta se alimenta e ajuda a priorizar onde ter presença. Trate a lista como um retrato da coleta, sujeito às mesmas margens de erro e à mesma variação entre execuções que a taxa de menção.
Deixe um comentário