Crawl Budget: o que Realmente Afeta o Rastreamento do seu Site (e o que Você Está Otimizando à Toa)

A pergunta que abre a maioria dos diagnósticos de indexação é a errada. Não é “como aumentar meu crawl budget”, é “eu tenho um problema de crawl budget?”. Na maior parte dos sites que chegam com essa hipótese, a resposta é não — o problema é de qualidade de conteúdo ou de arquitetura interna, e o rastreamento é apenas o sintoma que apareceu primeiro no relatório.

O tema acumulou mais folclore que quase qualquer outro em SEO técnico, em boa parte porque a documentação oficial é econômica e o vácuo foi preenchido por inferência. Vale separar o que é verificável do que é repetição.

O que crawl budget é, tecnicamente

A documentação do Google descreve o rastreamento como resultado de dois fatores que operam de forma independente.

O primeiro é o limite de capacidade de rastreamento. O rastreador ajusta a quantidade de conexões simultâneas e o intervalo entre requisições conforme a saúde do servidor. Se as respostas ficam lentas ou começam a retornar erro de servidor, ele reduz o ritmo. Se o servidor responde rápido e sem erro, ele pode aumentar — até um teto que não é definido pelo site.

O segundo é a demanda por rastreamento. Ela depende de quanto o buscador julga que vale a pena revisitar aquelas URLs: popularidade, frequência com que o conteúdo muda de fato e percepção de que o conjunto de páginas tem valor. Um site tecnicamente impecável e sem demanda continua sendo pouco rastreado.

A confusão mais comum do mercado nasce de tratar os dois como um só. Melhorar tempo de resposta do servidor mexe no primeiro fator e não faz nada pelo segundo. Publicar conteúdo relevante e ganhar links mexe no segundo e não resolve um servidor que devolve erro sob carga.

Seis crenças comuns testadas contra o que se pode verificar

Mito 1 — “Bloquear páginas no robots.txt libera orçamento para as outras.” Parcialmente verdadeiro, e por isso perigoso. O robots.txt evita a requisição, o que de fato economiza capacidade. Mas a URL bloqueada pode continuar aparecendo em resultados sem descrição, e — mais relevante — o buscador não consegue ler as diretivas dentro dela. Bloquear uma página que contém uma tag de canônico ou noindex significa que essa instrução nunca será processada. Em faceta de e-commerce com milhões de combinações, o bloqueio é a ferramenta certa. Em algumas dezenas de páginas, é otimização de ruído com risco de efeito colateral.

Mito 2 — “Cada erro 404 desperdiça orçamento.” Erros 404 em volume normal são comportamento esperado da web e não são penalizados. O que efetivamente derruba o ritmo de rastreamento são os erros da série 500 e os tempos de resposta altos, porque sinalizam que o servidor está sofrendo. Um site com centenas de 404 legítimos e servidor saudável tende a ser rastreado normalmente; um site sem nenhum 404 e com picos de erro 503 no horário de pico, não.

Mito 3 — “Sitemap XML aumenta o rastreamento.” O sitemap ajuda na descoberta de URLs, especialmente as pouco linkadas internamente, e permite sinalizar data de modificação. Ele não amplia capacidade nem cria demanda. Sitemap com data de modificação atualizada para todas as URLs a cada deploy, prática ainda comum, degrada a confiança nesse sinal — se tudo mudou, nada mudou.

Mito 4 — “Nofollow em links internos controla o fluxo de rastreamento.” Essa é herança da era do PageRank sculpting, prática que deixou de funcionar como se pretendia há mais de uma década. O atributo hoje é tratado como sugestão, não como diretriz absoluta, e usá-lo internamente para direcionar rastreamento não é uma técnica com sustentação atual.

Mito 5 — “Publicar mais aumenta o rastreamento.” Aumenta o número de URLs a rastrear, o que é diferente. Se o conteúdo novo não gera demanda, o efeito prático é diluir a atenção do rastreador por um conjunto maior de páginas de valor médio menor. Sites que multiplicaram volume sem qualidade costumam observar exatamente isso: mais URLs conhecidas, menos frequência de revisita por URL.

Mito 6 — “Redirecionamentos consomem orçamento e devem ser eliminados.” Cada salto é uma requisição, então cadeias longas custam — e cadeias com muitos saltos podem ser abandonadas. Mas um redirecionamento único e direto é irrelevante em qualquer escala normal. O esforço vale quando existem cadeias de três ou mais saltos ou milhares de redirecionamentos herdados de migrações antigas ainda linkados internamente.

O que efetivamente move o ponteiro

Concentrando no que tem lastro observável, a lista fica curta. Em ordem aproximada de impacto:

Um detalhe que costuma passar despercebido: conteúdo duplicado aparece nas duas colunas. Ele consome requisições em páginas que não acrescentam nada e, ao mesmo tempo, reduz a percepção de valor do conjunto. É o único item da lista com efeito duplo, e por isso costuma ser o de melhor retorno em sites grandes.

Como medir antes de agir

Diagnóstico de rastreamento feito por intuição produz plano de ação errado. O processo abaixo usa apenas dados que a maioria das organizações já tem.

1. Levante o total de URLs indexáveis do site. Se estiver na casa de poucos milhares, encerre a investigação aqui e redirecione o esforço — a probabilidade de existir um problema real de orçamento é baixa.
2. Abra o relatório de estatísticas de rastreamento no Search Console. Ele mostra volume de requisições, tempo médio de resposta e distribuição por código de status e por tipo de arquivo.
3. Verifique a tendência do tempo médio de resposta nos últimos noventa dias. Curva subindo com volume de requisições caindo é a assinatura clássica de limitação por capacidade.
4. Cheque a proporção de respostas 5xx e de timeouts. Qualquer presença consistente aqui é o primeiro item da fila de correção, à frente de tudo.
5. Exporte os logs do servidor e filtre por rastreadores verificados. Esta é a única fonte que mostra o que foi realmente requisitado, e não o que se supõe. Valide o rastreador por DNS reverso — user-agent é trivialmente falsificável.
6. Cruze as URLs rastreadas com a lista de URLs de valor comercial. A métrica que interessa é a fração de requisições gasta em páginas que geram receita ou conversão. Se a maior parte do rastreamento vai para paginação, filtros e busca interna, o problema está identificado.
7. Meça o intervalo médio entre publicação e primeira visita do rastreador. É o indicador mais sensível para conteúdo com validade temporal e o mais fácil de acompanhar mês a mês.

Uma ressalva metodológica sobre o passo 6: essa fração varia bastante conforme a natureza do site, e não existe valor de referência universal. O valor está na comparação da série histórica do próprio site antes e depois de cada intervenção, não no número absoluto.

O que mudou com os rastreadores de IA

Um fator que não existia nas discussões de alguns anos atrás e hoje aparece nos logs de qualquer site com tráfego relevante: a quantidade de rastreadores de empresas de inteligência artificial, coletando conteúdo para treinamento ou para responder consultas em tempo real.

Esses agentes não compartilham orçamento com o rastreador do Google — são requisições independentes. Mas consomem a mesma infraestrutura. Em sites com servidor no limite, o efeito prático é indireto e real: mais carga total, mais lentidão, e o rastreador do buscador reduzindo o próprio ritmo em resposta.

A recomendação defensável hoje é separar essas duas conversas. Decidir quais rastreadores de IA permitir é uma escolha de estratégia de conteúdo e de visibilidade em respostas geradas, com argumentos legítimos dos dois lados. Já a carga que eles impõem é um problema de infraestrutura, que se resolve com cache, limitação de taxa e dimensionamento — não com robots.txt. Misturar as duas decisões costuma levar a bloqueios que a organização depois se arrepende de ter feito.

Perguntas frequentes

Meu site tem 800 páginas e várias não indexadas. É crawl budget? Quase certamente não. Nessa escala, páginas não indexadas costumam indicar avaliação de qualidade, duplicação ou conteúdo considerado insuficiente. O caminho é revisar as páginas, não o rastreamento.

A diretiva crawl-delay funciona no Google? Não. O Google não a utiliza. Outros rastreadores respeitam. Para reduzir o ritmo do Googlebot em situações de emergência, o caminho documentado é responder com códigos de erro apropriados de forma temporária — e é uma medida de exceção, não de rotina.

Vale usar a solicitação manual de indexação? Serve para casos pontuais e urgentes. Como estratégia recorrente, não escala e não substitui as condições que fazem o rastreador voltar sozinho.

Páginas com noindex continuam sendo rastreadas? Sim, necessariamente — a diretiva só é lida ao acessar a página. Se o objetivo for economizar requisições em escala, o bloqueio precisa ser feito antes, no robots.txt, com a contrapartida descrita no mito 1.

Rastreamento maior melhora posição? Não há relação causal direta. Rastreamento é condição para indexação, e indexação é condição para ranqueamento — mas aumentar requisições sobre conteúdo de baixo valor não produz ganho de posição.