Crawl-Budget: So steuerst du Googles Crawling

Von Christoph Hein · Head of SEO & Search Consultant · Aktualisiert im August 2026

Crawl-Budget ist die Menge an URLs, die eine Suchmaschine auf deiner Website in einem bestimmten Zeitraum abrufen will und kann. Es ist kein Ranking-Faktor – aber es ist die Vorbedingung für alles andere: Was nicht gecrawlt wird, wird nicht indexiert, und was nicht indexiert ist, kann nicht ranken. Dieser Leitfaden erklärt, woraus sich das Budget zusammensetzt, wie du es messen kannst und mit welchen Hebeln du es tatsächlich beeinflusst.

1. Was ist Crawl-Budget?

„Crawl-Budget" ist kein offizieller Wert, den du irgendwo ablesen kannst. Der Begriff beschreibt das Ergebnis aus zwei unabhängigen Größen, die Google für jeden Host getrennt berechnet:

• Crawl-Kapazitätslimit (früher „Crawl-Rate-Limit"): Wie viele parallele Verbindungen und wie viele Anfragen pro Sekunde dein Server verkraftet, ohne langsamer zu werden oder Fehler zu liefern.
• Crawl-Demand (Crawl-Nachfrage): Wie viele deiner URLs Google überhaupt abrufen will – abhängig von Popularität, Aktualität und der geschätzten Größe deines Bestands.

Das effektive Crawl-Budget ist immer das Minimum aus beidem. Ein extrem schneller Server bringt dir nichts, wenn Google keinen Grund sieht, mehr zu crawlen. Umgekehrt bringt hohe Nachfrage nichts, wenn dein Server bei Last einbricht.

2. Crawl-Kapazität und Crawl-Demand im Detail

Crawl-Kapazitätslimit

Googlebot versucht, deine Website zu crawlen, ohne sie zu überlasten. Er beobachtet dafür laufend zwei Signale:

• Antwortzeit: Werden die Antworten langsamer, reduziert Googlebot die Crawl-Rate. Bleiben sie schnell, erhöht er sie schrittweise.
• Serverfehler: Häufen sich 5xx-Antworten oder 429 Too Many Requests, drosselt Googlebot deutlich – teilweise innerhalb von Minuten.

Das Limit gilt pro Host. shop.example.com und www.example.com haben getrennte Budgets – es sei denn, sie liegen hinter derselben IP bzw. demselben Server, dann kann sich die Kapazität faktisch teilen.

Crawl-Demand

Die Nachfrage speist sich aus drei Faktoren:

1. Popularität: URLs mit vielen internen und externen Links werden häufiger aktualisiert. Hier wirkt deine Link Equity direkt auf die Crawl-Frequenz.
2. Veralterung (Staleness): Google versucht zu vermeiden, dass URLs im Index veralten. Seiten, die sich nachweislich häufig ändern, werden häufiger abgerufen.
3. Geschätzter Bestand (Perceived Inventory): Google schätzt, wie viele wertvolle URLs du hast. Wenn ein großer Teil deiner URLs Duplikate, Filterkombinationen oder leere Seiten sind, senkt das die Nachfrage für die gesamte Website.

Punkt 3 ist der wichtigste und der am häufigsten unterschätzte: Duplikate kosten dich nicht nur einzelne Abrufe, sie senken das Vertrauen in dein URL-Inventar insgesamt.

3. Wer braucht Crawl-Budget-Optimierung überhaupt?

Für die meisten Websites ist Crawl-Budget ein Nicht-Thema. Google nennt in seinem Leitfaden für große Websites zwei konkrete Schwellen, ab denen sich die Beschäftigung damit lohnt:

Der praktische Test ist einfacher als jede Schwelle: Werden neue Seiten innerhalb weniger Tage gecrawlt und indexiert? Wenn ja, hast du kein Crawl-Budget-Problem. Wenn wichtige neue URLs wochenlang im Status „Gefunden – zurzeit nicht indexiert" hängen, hast du eines. Mehr dazu im Leitfaden zur Indexierung.

4. Crawl-Budget in der Search Console analysieren

Die relevante Datenquelle heißt Einstellungen → Crawling-Statistiken. Sie zeigt die letzten 90 Tage und ist der schnellste Weg zu einer Diagnose. Achte auf diese Aufschlüsselungen:

• Gesamtzahl der Crawling-Anfragen: Der absolute Wert ist wenig aussagekräftig, der Trend dagegen sehr. Ein plötzlicher Einbruch deutet auf Serverprobleme oder blockierte Pfade hin.
• Durchschnittliche Reaktionszeit: Die wichtigste Zahl im Bericht. Alles über ~600 ms drückt aktiv dein Kapazitätslimit.
• Nach Antwort: Wie viel Prozent deiner Abrufe sind 200? Wenn 301, 404 oder 5xx zusammen mehr als etwa 20 % ausmachen, verbrennst du messbar Budget.
• Nach Zweck: Das Verhältnis von Auffindbarkeit (neue URLs) zu Aktualisierung (bekannte URLs). Bei einer gesunden, wachsenden Website sollten neue URLs einen sichtbaren Anteil haben. Liegt Aktualisierung bei über 95 %, findet Google kaum noch neue Inhalte bei dir.
• Nach Dateityp: Wenn Bilder, CSS oder JavaScript einen Großteil der Abrufe ausmachen, lohnt ein Blick auf Rendering und Bild-SEO.
• Hoststatus: Prüft robots.txt-Abrufbarkeit, DNS-Auflösung und Serververbindung. Rote Markierungen hier haben Vorrang vor allem anderen.

5. Server-Logfiles: die genaueste Datenquelle

Die Search Console aggregiert und rundet. Deine eigenen Access-Logs zeigen dagegen jede einzelne Anfrage – inklusive URL, Statuscode, Zeitstempel und User-Agent. Eine typische Zeile im Combined Log Format sieht so aus:

66.249.66.1 - - [18/Aug/2026:09:14:22 +0200] "GET /schuhe/?farbe=rot&groesse=42 HTTP/1.1" 200 18422 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Drei Auswertungen liefern fast immer sofort verwertbare Ergebnisse:

1. Top-Verzeichnisse nach Crawl-Anteil: Gruppiere alle Googlebot-Anfragen nach dem ersten Pfadsegment. Häufig zeigt sich, dass 60 % der Abrufe auf Bereiche fallen, die kein organischer Traffic-Ziel sind (Suche, Warenkorb, Filter).
2. Gecrawlt, aber ohne Klicks: Verschneide gecrawlte URLs mit den Leistungsdaten der Search Console. URLs mit vielen Abrufen und null Impressionen über 90 Tage sind Optimierungskandidaten.
3. Nie gecrawlte URLs: Verschneide deine Sitemap mit den Logs. Was in der Sitemap steht, aber in 90 Tagen kein einziges Mal abgerufen wurde, ist entweder schlecht intern verlinkt oder gilt als wertlos.

Wichtig für die Auswertung: Verifiziere echte Googlebot-Anfragen. Der User-Agent lässt sich frei fälschen. Der offizielle Weg ist ein Reverse-DNS-Lookup mit anschließendem Forward-Lookup – die IP muss auf googlebot.com oder google.com auflösen. Alternativ veröffentlicht Google seine IP-Bereiche als JSON-Datei zum Abgleich.

6. Die acht größten Crawl-Budget-Fresser

Nach Erfahrung aus Shop-Audits verursachen fast immer dieselben Muster den Großteil des verschwendeten Budgets – in dieser Reihenfolge:

1. Facettennavigation: Fünf Filter mit je fünf Werten und freier Kombinierbarkeit ergeben mathematisch über 7.700 URL-Varianten pro Kategorie. Der häufigste Grund für Millionen-URL-Websites, die eigentlich 5.000 Produkte haben.
2. Interne Suchergebnisseiten: /suche?q=... erzeugt unbegrenzt viele URLs, sobald sie irgendwo verlinkt oder in einer Sitemap gelandet ist.
3. Session-IDs und Tracking-Parameter: Jede Variante von ?utm_source= oder ?sid= ist für den Crawler eine neue URL.
4. Weiterleitungsketten: Jeder Hop ist eine eigene Anfrage. Eine dreistufige Kette kostet das Vierfache eines direkten Aufrufs.
5. Soft 404s: Leere Kategorien oder ausverkaufte Produkte, die 200 OK mit „Keine Ergebnisse" zurückgeben. Google crawlt sie weiter, weil sie technisch gültig aussehen.
6. Endlose Kalender und Paginierungen: Ein Kalender-Widget mit „nächster Monat"-Link erzeugt eine unendliche URL-Kette.
7. Duplikate durch Groß-/Kleinschreibung, Trailing Slash und Protokoll: Vier Varianten derselben Seite sind vier Crawls. Siehe URLs & Statuscodes.
8. Schwere JavaScript-Bundles: Bei clientseitigem Rendering muss Googlebot Ressourcen laden und ausführen. Das kostet Kapazität, die dann für HTML-Abrufe fehlt.

7. Das richtige Werkzeug wählen: robots.txt, noindex oder Canonical

Der häufigste Fehler bei der Crawl-Budget-Optimierung ist das falsche Instrument. Die drei Mechanismen wirken an völlig unterschiedlichen Stellen:

Die Konsequenz: Nur robots.txt spart unmittelbar Crawl-Budget. noindex und canonical müssen erst gecrawlt werden, um zu wirken. Google reduziert die Crawl-Frequenz solcher URLs mit der Zeit, aber sie verschwinden nie ganz aus dem Crawl-Zyklus.

8. Facettennavigation und Parameter-URLs steuern

Facetten sind der größte Einzelhebel bei Shops. Die Strategie: Entscheide pro Filtertyp, ob er indexierbar, crawlbar, aber nicht indexierbar oder gar nicht crawlbar sein soll.

Eine robuste robots.txt für diesen Fall – beachte, dass Allow spezifischer sein muss als Disallow, weil bei Google die längste passende Regel gewinnt:

User-agent: *

# Sortierung, Ansicht und Paginierungs-Duplikate sperren
Disallow: /*?*sort=
Disallow: /*?*view=
Disallow: /*?*sid=
Disallow: /*?*utm_

# Interne Suche komplett sperren
Disallow: /suche
Disallow: /*?q=

# Warenkorb und Checkout
Disallow: /warenkorb
Disallow: /kasse/

# Ressourcen, die zum Rendern gebraucht werden, ausdruecklich freigeben
Allow: /*.css$
Allow: /*.js$

Sitemap: https://example.com/sitemap.xml

Zwei Regeln dazu: Erstens gilt Crawl-delay nicht – Google ignoriert die Direktive vollständig (Bing und Yandex beachten sie). Zweitens muss jede gesperrte URL-Klasse vorher aus internen Links und Sitemaps verschwinden, sonst sammelst du „Indexiert, obwohl durch robots.txt gesperrt".

9. Servergeschwindigkeit und Statuscodes

Kapazität ist die Hälfte der Gleichung, und sie ist die Hälfte, die du direkt kontrollierst.

• Time to First Byte: Googlebot bewertet die reine Serverantwortzeit, nicht die Core Web Vitals deiner Nutzer. Serverseitiges Caching für Kategorieseiten wirkt hier stärker als jede Frontend-Optimierung.
• HTTP/2: Googlebot crawlt seit Ende 2020 über HTTP/2, wenn dein Server es anbietet. Durch Multiplexing sinkt der Verbindungsaufwand pro Anfrage messbar.
• Komprimierung: gzip oder brotli senken das übertragene Volumen. Das entlastet das Byte-Budget, das im Crawling-Statistik-Bericht als „Gesamtzahl der Downloadbytes" auftaucht.
• Conditional Requests: Liefere korrekte ETag- und Last-Modified-Header. Googlebot kann dann mit If-Modified-Since anfragen und du antwortest mit 304 Not Modified – ein Bruchteil der Bytes bei gleichem Informationsgehalt.

Bei Statuscodes gilt: 404 ist harmlos und der korrekte Code für entfernte Inhalte – Google reduziert dort automatisch die Frequenz. Gefährlich sind dagegen 5xx-Serien, weil sie das Kapazitätslimit für die gesamte Domain senken, und 302 für dauerhafte Umzüge, weil Google die alte URL dann unbegrenzt weiter crawlt.

10. Interne Verlinkung, Klicktiefe und Sitemaps

Crawl-Demand folgt Links. Alles, was tief in der Architektur liegt, wird seltener abgerufen.

• Klicktiefe unter fünf halten: URLs, die mehr als fünf Klicks von der Startseite entfernt sind, werden in der Praxis deutlich seltener gecrawlt. Kategorieseiten mit sinnvoller Paginierung und Hub-Seiten sind die wirksamste Gegenmaßnahme.
• Verwaiste Seiten beseitigen: URLs, die nur in der Sitemap stehen und nirgends verlinkt sind, gelten als unwichtig. Eine Sitemap ist eine Empfehlung, kein Ersatz für interne Links.
• Sitemaps ehrlich pflegen: Google nutzt lastmod, wenn es dem Wert vertraut. Setzt dein CMS bei jedem Deployment alle Daten auf „heute", wird das Feld ignoriert. priority und changefreq wertet Google grundsätzlich nicht aus.
• Sitemaps segmentieren: Getrennte Dateien für Produkte, Kategorien und Redaktion machen im Sitemap-Bericht sichtbar, welcher Bereich Indexierungsprobleme hat.
• Nur indexierbare URLs eintragen: Keine Weiterleitungen, keine noindex-Seiten, keine gesperrten Pfade. Details im Sitemap-Leitfaden.

11. Crawl-Budget und KI-Crawler

Seit 2024 kommt ein relevanter Teil des Bot-Traffics nicht mehr von Suchmaschinen. GPTBot, ClaudeBot, PerplexityBot, Bytespider und CCBot crawlen teils aggressiv – und teilen sich dieselbe Serverkapazität wie Googlebot. Auf lastempfindlichen Systemen kann das indirekt dein Crawl-Budget für Google senken.

Wichtig zur Einordnung: Diese Bots haben kein gemeinsames Budget mit Google. Sie konkurrieren nur um deine Serverressourcen. Wenn du sie einschränkst, gewinnt Googlebot also nur indirekt – über die Kapazität.

# Beispiel: KI-Trainings-Crawler ausschliessen, Suchmaschinen zulassen
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: *
Disallow: /suche
Allow: /

Ein häufiges Missverständnis: Google-Extended ist kein Crawler. Das Token steuert nur, ob deine Inhalte für Gemini-Modelle verwendet werden dürfen – es hat keinen Einfluss darauf, wie viel Googlebot für die Suche crawlt. Details im Leitfaden zu llms.txt & KI-Crawlern.

12. Fünf Mythen, die kein Crawl-Budget sparen

1. „Crawl-delay in der robots.txt reguliert Googlebot." Nein. Google ignoriert die Direktive komplett und protokolliert sie als unbekannte Regel.
2. „Mehr Sitemaps führen zu mehr Crawling." Nein. Sitemaps helfen bei der Auffindbarkeit, sie erhöhen weder Kapazität noch Nachfrage.
3. „priority und changefreq steuern die Crawl-Frequenz." Nein. Google wertet beide Felder nicht aus.
4. „noindex spart sofort Crawl-Budget." Nein. Die URL muss gecrawlt werden, damit die Direktive überhaupt gelesen wird.
5. „Mehr Crawling bringt bessere Rankings." Nein. Crawling ist eine Voraussetzung für Indexierung, aber kein Qualitäts- oder Ranking-Signal.

13. Checkliste für ein Crawl-Budget-Audit

1. Crawling-Statistiken öffnen: Hoststatus grün? Reaktionszeit unter 600 ms?
2. Anteil der 200-Antworten prüfen. Unter 80 %? Dann Statuscodes aufräumen.
3. Verhältnis Auffindbarkeit zu Aktualisierung bewerten.
4. Access-Logs 30 Tage exportieren und Googlebot-Anfragen nach Verzeichnis gruppieren.
5. Top-10-Verzeichnisse nach Crawl-Anteil gegen tatsächliche Klicks aus der Search Console stellen.
6. Parameter-Inventar erstellen: Welche Parameter existieren, welche erzeugen eigenständigen Inhalt?
7. Sortier-, Ansichts- und Session-Parameter per robots.txt sperren.
8. Interne Suche und Warenkorb sperren.
9. Weiterleitungsketten auf einen Hop verkürzen.
10. Soft 404s identifizieren und auf echte 404 oder 410 umstellen.
11. Sitemaps bereinigen: nur indexierbare URLs, ehrliches lastmod.
12. Verwaiste URLs intern verlinken oder entfernen.
13. ETag/Last-Modified aktivieren und 304-Antworten verifizieren.
14. Nach vier Wochen erneut messen: Hat sich der Anteil der Auffindbarkeits-Crawls erhöht?

14. Häufig gestellte Fragen

Weiterlesen

Über den Autor

Christoph Hein

Head of SEO bei der Popken Fashion Group & unabhängiger Search Consultant

Christoph ist seit über 10 Jahren im Bereich Search tätig und steuert derzeit die Organic-Strategie für 5 Modemarken in 13 Ländern und mehr als 30 Domains. Neben seiner Inhouse- und Beratungsarbeit hat er Nischen-Content-Portale wie Angelmagazin.de und BaristaCompass.com gegründet und die Rank-O-Saur-Erweiterung entwickelt, um technische SEO-Audits mühelos zu machen. Jeder Leitfaden hier basiert auf praxisnaher, datengetriebener Arbeit statt auf Theorie.

christophhein.com ↗ LinkedIn ↗