O Que é Crawl Budget: Como Otimizar o Rastreamento do Google no Seu Site
Sites com milhares de URLs perdem ranking por crawl budget mal usado. Aprenda como o Google rastreia, o que desperdiça e como otimizar para ser indexado mais rápido.
Categoria: SEO Técnico · Por Equipe Domain Hunter · Publicado em 09/05/2026 · 10 min de leitura
Imagine que o Googlebot é um carteiro com tempo limitado. Em cada visita ao seu site, ele só consegue entregar (rastrear) um número finito de páginas. Esse número é o seu **crawl budget**. Se você tem um site pequeno (até 1.000 URLs), provavelmente nunca vai precisar pensar nisso — o Google rastreia tudo sem esforço. Mas se você gerencia um e-commerce, marketplace, portal de notícias ou blog grande, **crawl budget pode ser o motivo silencioso de URLs novas demorarem semanas para aparecer**. Vou te explicar como o Google decide quanto rastrear, o que desperdiça crawl budget e o que você pode fazer hoje para otimizar. ## O que define o crawl budget do seu site Segundo a [documentação oficial do Google](https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget), dois fatores controlam isso: ### 1. Crawl rate limit Quão rápido o Googlebot pode rastrear sem derrubar seu servidor. Se ele detecta lentidão ou erros 5xx, **diminui automaticamente** a frequência. ### 2. Crawl demand Quanto o Google **quer** rastrear seu site. Aumenta com: - Frequência de mudanças no conteúdo - Popularidade (links externos chegando) - Tamanho e atualização do sitemap A **interseção** dos dois é o seu crawl budget efetivo. ## Como saber se você tem problema de crawl budget Sinais clássicos: - URLs novas demoram **mais de 7 dias** para indexar - Search Console mostra muitas páginas em "**Descobertas - não indexadas**" - O relatório de **Estatísticas de rastreamento** mostra picos de erros 5xx - Páginas profundas (4+ cliques de distância da home) nunca são rastreadas - Você vê o Googlebot gastando tempo em URLs sem importância (filtros, parâmetros, paginação) Se você nunca olhou esses relatórios, comece pelo nosso [Guia do Google Search Console para iniciantes](/blog/google-search-console-guia-iniciantes). ## Os maiores ladrões de crawl budget ### 1. URLs com parâmetros (faceted navigation) E-commerces são os campeões disso. Cada combinação de filtro vira uma URL única: ``` seusite.com/calcas?cor=azul&tamanho=42&ordenar=preco seusite.com/calcas?cor=azul&tamanho=42&ordenar=lancamentos seusite.com/calcas?cor=preto&tamanho=42&ordenar=preco ``` Multiplicado por 10 categorias x 5 cores x 6 tamanhos x 4 ordenações = **1.200 URLs duplicadas para o mesmo conteúdo essencial**. **Solução**: - Bloqueie no `robots.txt` (`Disallow: /*?cor=`) - Use `rel="canonical"` apontando para a URL principal - Configure regras no Search Console (legado, mas ainda útil) ### 2. Conteúdo duplicado Versões `www` e sem `www`, `http` e `https`, com e sem barra final, com e sem `index.html`. Cada variação é uma URL separada para o Google. **Solução**: redirect 301 forçando uma versão única. Veja [redirect 301 vs 302](/blog/redirect-301-vs-302-quando-usar). ### 3. Páginas de baixa qualidade indexadas Tags com 1 post, categorias vazias, páginas de busca interna, perfis de usuário fantasmas — tudo isso desperdiça rastreamento. **Solução**: noindex + nofollow nas páginas de baixa qualidade, ou bloqueio direto no robots.txt. ### 4. Cadeias de redirects URL A → 301 → URL B → 301 → URL C → 301 → URL D. Cada salto consome budget. **Solução**: redirect direto da origem para o destino final. ### 5. Servidor lento Tempo de resposta acima de 600ms reduz drasticamente o crawl rate. **Solução**: cache, CDN, otimização de queries. Veja também [Core Web Vitals: otimização completa](/blog/core-web-vitals-otimizacao-completa). ## Tutorial: 7 ações para otimizar crawl budget hoje ### Ação 1 — Limpar o robots.txt Bloqueie diretórios sem valor SEO: admin, carrinho, busca interna, parâmetros desnecessários. Veja nosso [tutorial de sitemap.xml e robots.txt](/blog/sitemap-xml-robots-txt-tutorial) para a sintaxe correta. ### Ação 2 — Submeter sitemap atualizado O sitemap é um sinal direto de prioridade. Inclua só URLs que você quer indexar (status 200, canônicas, indexáveis). Atualize o `lastmod` quando o conteúdo mudar de verdade. ### Ação 3 — Eliminar conteúdo duplicado Faça uma auditoria com Screaming Frog. Use o relatório "Duplicate Pages" para listar URLs com conteúdo idêntico ou quase idêntico. ### Ação 4 — Aplicar canonical em todas as páginas Cada página deve declarar seu canonical, mesmo que aponte para si mesma: ```html ``` ### Ação 5 — Reduzir profundidade de cliques Idealmente, qualquer página importante deve estar a no máximo **3 cliques da home**. Use breadcrumbs, menus secundários e links contextuais para "subir" páginas profundas. ### Ação 6 — Acelerar o servidor Tempo de resposta < 200ms é o ideal. Cache de objeto, CDN, otimização de queries e HTTP/2 são essenciais. ### Ação 7 — Monitorar nas Estatísticas de Rastreamento No Search Console, vá em **Configurações → Estatísticas de rastreamento**. Acompanhe: - Total de solicitações por dia - Tempo médio de resposta - Status code distribution - Pico de erros 5xx (sinal vermelho) ## Caso prático: e-commerce com 50 mil produtos Um cliente de moda tinha 50.000 SKUs no catálogo, mas só 8.000 indexados após 6 meses. Diagnóstico: - 280.000 URLs com parâmetros indexáveis (faceted navigation aberta) - Servidor com tempo de resposta de 1.2s - Sitemap com 50.000 URLs sem priorização **Ações tomadas**: 1. Bloqueio de parâmetros `?cor=`, `?tamanho=`, `?ordenar=` no robots.txt 2. Canonical forçado para a categoria principal 3. Migração para CDN, tempo de resposta caiu para 220ms 4. Sitemap reorganizado em segments (categoria, produto, marca) com prioridades **Resultado em 90 dias**: indexação subiu de 8.000 para 41.000 produtos. Tráfego orgânico cresceu 187%. ## Tutorial em vídeo Para uma explicação visual, recomendo esta aula da Google Search Central: 🎥 [Crawl Budget Explained (Google Search Central)](https://www.youtube.com/watch?v=am2a_RQ6ITU) ## Quando crawl budget NÃO é seu problema Não caia na armadilha de "otimizar crawl budget" se seu site é pequeno. Para sites com menos de 1.000 URLs ativas, o Google rastreia tudo sem dificuldade. Foque em crawl budget se você tem: - Mais de 5.000 URLs ativas - E-commerce com facetas - Site dinâmico com muitos parâmetros - Marketplace com filtros - Portal de conteúdo com arquivamento ## Conclusão Crawl budget é um conceito invisível para sites pequenos e crítico para sites grandes. A boa notícia é que as ações são objetivas: limpar robots.txt, eliminar duplicação, acelerar servidor, organizar sitemap. Reserve uma manhã para auditar seu site. Você vai se surpreender com a quantidade de URLs sem valor que o Google está rastreando — e com o quanto isso acelera quando você corrige. Continue lendo: - [Sitemap.xml e robots.txt: tutorial completo](/blog/sitemap-xml-robots-txt-tutorial) - [SEO técnico: checklist 2026](/blog/seo-tecnico-checklist-2026) - [Auditoria SEO completa passo a passo](/blog/auditoria-seo-completa-passo-a-passo) ## Perguntas frequentes **Todo site precisa se preocupar com crawl budget?** Não. Sites com menos de 1.000 URLs ativas normalmente são rastreados por completo sem esforço — a otimização de crawl budget importa de verdade para e-commerces, marketplaces e portais com milhares de páginas. **Bloquear URLs no robots.txt remove elas do índice do Google?** Não diretamente — o robots.txt impede o rastreamento, mas uma URL já indexada pode continuar aparecendo nos resultados até ser removida por outros meios, como noindex. Para páginas que você quer fora do índice, noindex é mais confiável do que só bloqueio de rastreamento. **Quanto tempo leva para ver resultado depois de otimizar o crawl budget?** No caso prático citado no artigo, a indexação subiu de 8.000 para 41.000 produtos e o tráfego cresceu 187% em 90 dias — mas o prazo varia conforme o tamanho do site e a frequência de rastreamento do Googlebot. **Cadeias de redirecionamento (A para B para C) afetam o crawl budget?** Sim. Cada salto na cadeia consome parte do orçamento de rastreamento — o ideal é sempre redirecionar direto da URL de origem para o destino final, sem intermediários.Tags: crawl budget, rastreamento, googlebot, indexação, seo técnico