Crawl budget (ang. crawl budget, budżet indeksowania) to liczba adresów URL w danym serwisie, które Googlebot może i chce pobrać w określonym czasie – wynikająca z dwóch czynników: limitu wydajności skanowania (tego, ile serwer wytrzyma bez spowolnienia) oraz zapotrzebowania na skanowanie (tego, na ile Google uznaje strony za warte odwiedzenia). Dla marketera oznacza to prostą zależność: jeśli robot marnuje wizyty na duplikaty, filtry i błędy, ważne strony trafiają do indeksu wolniej lub wcale, co bezpośrednio odbija się na widoczności w wynikach wyszukiwania.
Jak działa crawl budget?
Googlebot nie ma nieograniczonych zasobów i nie chce przeciążać odwiedzanych serwerów. Dlatego przy każdej domenie bierze pod uwagę dwa parametry:
- Limit wydajności skanowania – jeśli serwer odpowiada szybko i bez błędów, robot zwiększa liczbę równoległych połączeń; gdy pojawiają się kody 5xx lub długie czasy odpowiedzi, automatycznie zwalnia.
- Zapotrzebowanie na skanowanie – strony popularne, często aktualizowane i linkowane są odwiedzane częściej; adresy o niskiej jakości, zduplikowane lub rzadko zmieniane spadają w kolejce.
Crawl budget to wypadkowa obu czynników. Zgodnie z dokumentacją Google problem realnie dotyczy dużych serwisów – liczonych w setkach tysięcy lub milionach adresów, albo takich, które publikują bardzo dużo treści dziennie. Mała witryna firmowa z kilkuset podstronami zwykle jest skanowana w całości bez żadnych zabiegów. Szczegóły opisuje oficjalny przewodnik Google dla właścicieli dużych witryn.
Jak sprawdzić, na co robot wydaje budżet?
Podstawowym źródłem danych jest raport Statystyki indeksowania w Google Search Console (liczba żądań, czas odpowiedzi, podział na kody odpowiedzi i typy plików) oraz analiza logów serwera, która pokazuje dokładnie, które adresy odwiedza Googlebot. Wnioski warto zestawić z listą adresów, na których faktycznie zależy biznesowi. Przykładowa analiza sklepu internetowego może wyglądać tak:
| Typ adresów URL (przykład) | Udział w wizytach robota | Wartość dla SEO | Rekomendacja |
|---|---|---|---|
| Kategorie, produkty, wpisy blogowe | 25% | wysoka | wzmocnić linkowaniem wewnętrznym, dodać do sitemap |
| Filtry i sortowania z parametrami | 45% | niska / duplikaty | ograniczyć generowanie, kanonikalizacja, blokada w robots.txt |
| Strony wyników wyszukiwania wewnętrznego | 15% | brak | zablokować w robots.txt |
| Przekierowania, błędy 404, soft 404 | 15% | brak | naprawić linki, usunąć łańcuchy przekierowań |
W takim (hipotetycznym) układzie tylko jedna czwarta budżetu pracuje na widoczność serwisu. Sama zmiana proporcji – bez dodawania nowych treści – potrafi przyspieszyć indeksację ważnych podstron.
Kiedy warto optymalizować, a kiedy nie?
Optymalizacja crawl budgetu ma sens, gdy serwis jest duży, generuje adresy dynamicznie (nawigacja fasetowa, kalendarze, parametry śledzące), a nowe strony czekają na indeksację tygodniami. Nie ma sensu traktować jej jako priorytetu w niewielkiej witrynie, w której Google i tak skanuje wszystko – tam lepiej skupić się na jakości treści i linkowaniu. Więcej podstaw znajdziesz w kategorii SEO w bazie wiedzy ICBM.
Najczęstsze błędy
- Mylenie robots.txt z noindex – plik robots.txt blokuje skanowanie, ale nie usuwa adresu z indeksu; noindex działa odwrotnie i wymaga, by robot stronę odwiedził.
- Zaśmiecona sitemap – mapa witryny powinna zawierać wyłącznie kanoniczne, indeksowalne adresy zwracające kod 200; wpisy z przekierowaniami i błędami psują sygnał.
- Nieskończone przestrzenie URL – filtry łączone bez limitu, paginacja kalendarza czy identyfikatory sesji tworzą miliony adresów o zerowej wartości.
- Łańcuchy przekierowań – każdy skok to dodatkowe żądanie, a robot po kilku przekierowaniach może przerwać śledzenie.
- Wolny serwer – wysoki czas odpowiedzi to najprostszy sposób, by Google samo obniżyło limit skanowania.
Crawl budget w praktyce ICBM
W projektach dla dużych sklepów i portali audyt crawl budgetu zaczynamy od logów serwera i raportu indeksowania, a nie od domysłów. Następnie porządkujemy architekturę: eliminujemy zbędne parametry, ustalamy zasady kanonikalizacji, aktualizujemy robots.txt i sitemap, a linkowanie wewnętrzne kierujemy na strony, które mają zarabiać. Efektem jest szybsza indeksacja nowych treści i stabilniejsza widoczność – to stały element naszych usług pozycjonowania stron.
Najczęściej zadawane pytania
Czy mała strona firmowa musi dbać o crawl budget?
Zwykle nie. Google skanuje niewielkie serwisy w całości i bez opóźnień, o ile serwer działa poprawnie. Problem pojawia się przy setkach tysięcy adresów lub przy dynamicznie generowanych URL-ach.
Czy blokada w robots.txt oszczędza crawl budget?
Tak – robot nie pobiera zablokowanych adresów, więc może odwiedzić więcej wartościowych stron. Trzeba jednak pamiętać, że blokada nie usuwa adresu z indeksu; do tego służy tag noindex, który wymaga, aby strona była dostępna dla robota.
Czy sitemap zwiększa crawl budget?
Nie zwiększa go bezpośrednio, ale pomaga lepiej go wykorzystać. Poprawna mapa witryny wskazuje robotowi priorytetowe, kanoniczne adresy i informuje o dacie ostatniej modyfikacji, dzięki czemu wizyty trafiają tam, gdzie mają największą wartość.
