Indexierung: Von der Entdeckung bis zum Ranking
Indexierung ist der Schritt, an dem die meisten SEO-Projekte scheitern – nicht am Ranking. Eine Seite kann technisch fehlerfrei sein, perfekte Meta-Tags haben und trotzdem nie in den Suchergebnissen auftauchen, weil Google sie bewusst nicht in den Index aufnimmt. Dieser Leitfaden erklärt die komplette Kette von der Entdeckung bis zum Ranking, alle Statusmeldungen des Seitenindexierungsberichts und was bei jeder davon tatsächlich hilft.
1. Crawling, Indexierung und Ranking sind drei Dinge
Diese drei Begriffe werden ständig vermischt, obwohl sie unabhängige Stufen beschreiben. Jede Stufe kann einzeln scheitern:
| Stufe | Was passiert | Typischer Fehler |
|---|---|---|
| Discovery | Google erfährt, dass die URL existiert | Verwaiste Seite, nirgends verlinkt |
| Crawling | Googlebot ruft die URL ab | robots.txt-Sperre, Serverfehler, Crawl-Budget |
| Rendering | JavaScript wird ausgeführt, das endgültige DOM entsteht | Inhalt erst nach Nutzerinteraktion vorhanden |
| Indexierung | Google entscheidet, ob die Seite in den Index kommt | noindex, Duplikat, zu geringe Qualität |
| Ranking | Die Seite wird für Suchanfragen sortiert | Fehlende Relevanz, starke Konkurrenz |
Die Reihenfolge ist zwingend: Ohne Auffindbarkeit kein Crawling, ohne Crawling keine Indexierung, ohne Indexierung kein Ranking. Bevor du an Rankings arbeitest, muss die Indexierung stehen.
Wichtig: Indexiert zu sein ist keine Garantie für Sichtbarkeit, und nicht indexiert zu sein ist nicht automatisch ein Fehler. Bei vielen Websites sollen 30 bis 60 % der URLs bewusst nicht im Index sein – Filterseiten, Paginierungen, Dankeseiten. Die Frage ist nicht „warum sind nicht alle URLs indexiert", sondern „sind die richtigen URLs indexiert".
2. Discovery: Wie Google URLs überhaupt findet
Google unterhält eine Liste bekannter URLs, die aus mehreren Quellen wächst – sortiert nach praktischer Wirksamkeit:
- Interne Links: Die stärkste Quelle. Ein Link aus der Navigation oder von einer häufig gecrawlten Kategorieseite führt meist innerhalb von Stunden zu einem Abruf.
- Externe Links: Genauso wirksam und zusätzlich ein Popularitätssignal, das die Crawl-Nachfrage erhöht.
- XML-Sitemaps: Zuverlässig für die Auffindbarkeit, aber kein Qualitätssignal. Eine Sitemap ersetzt keine interne Verlinkung.
- Weiterleitungen: Ein
301macht das Ziel bekannt. - Manuelle Einreichung: Über die URL-Prüfung in der Search Console.
- Sonstige Fundstellen: Erwähnungen in Feeds,
hreflang-Verweise, Canonical-Angaben anderer Seiten und teilweise sogar Links in JavaScript-Dateien.
Eine verwaiste Seite ist der klassische Discovery-Fehler: Sie existiert, ist erreichbar, aber kein einziger interner Link zeigt auf sie. Solche URLs werden entweder nie gefunden oder als unwichtig eingestuft.
3. Von der Warteschlange zum Abruf
Bekannte URLs landen in einer priorisierten Warteschlange. Die Priorität ergibt sich im Wesentlichen aus der internen und externen Verlinkung, der bisherigen Änderungshäufigkeit und dem geschätzten Wert der URL. Das ist der Punkt, an dem Crawl-Budget wirkt: Bei großen Websites kann eine URL wochenlang in der Warteschlange stehen, ohne dass technisch etwas falsch ist.
Beim Abruf entscheidet der Statuscode über den weiteren Weg:
200 OK– Inhalt geht in die Verarbeitung.301/308– Google folgt der Weiterleitung, indexiert das Ziel und konsolidiert die Signale dorthin.302/307– Google folgt ebenfalls, behandelt die Weiterleitung aber zunächst als temporär und crawlt die Ausgangs-URL weiter.404/410– Die URL wird nach einigen Abrufen aus dem Index entfernt.429/5xx– Google versucht es später erneut. Hält der Zustand mehrere Tage an, wird die URL aus dem Index genommen.401/403– Kein Zugriff, keine Indexierung.
Details zu allen Codes im Leitfaden URLs & Statuscodes.
4. Rendering: warum JavaScript-Seiten anders behandelt werden
Nach dem Abruf des HTML führt Google die Seite im Web Rendering Service aus, um das endgültige DOM zu erhalten. Das ist ein eigener Verarbeitungsschritt mit eigener Warteschlange. Google hat den Median zwischen Crawl und Rendering mit wenigen Sekunden angegeben – die Vorstellung, dass gerendertes JavaScript wochenlang liegen bleibt, ist überholt. Bei sehr großen Websites oder unter Last kann sich der Schritt aber verzögern.
Praktisch relevant bleiben drei Punkte:
- Ressourcen dürfen nicht gesperrt sein: Ein
Disallowauf/assets/verhindert, dass die Seite vollständig gerendert werden kann. - Inhalt darf keine Interaktion erfordern: Was erst nach Klick, Scroll oder Hover geladen wird, existiert für Google nicht.
- Zustandsänderungen brauchen echte URLs: Inhalte hinter
#-Fragmenten sind für die Indexierung nicht adressierbar.
Wie du das testest, steht im Leitfaden Rendering (SSR vs. CSR).
5. Index-Auswahl: warum Google Seiten bewusst weglässt
Der entscheidende und am wenigsten verstandene Schritt: Google indexiert nicht alles, was es crawlen kann. Die Auswahl erfolgt nach geschätztem Wert. Typische Ausschlussgründe:
- Duplikat: Eine sehr ähnliche Seite ist schon im Index. Google wählt eine kanonische Version, die anderen werden zusammengefasst. Siehe Duplicate Content.
- Zu geringe Substanz: Automatisch erzeugte Seiten, leere Kategorien, Tag-Übersichten mit einem Beitrag.
- Kein erkennbarer Bedarf: Wenn die Seite keine Suchanfrage bedient, für die sie besser wäre als bereits indexierte Ergebnisse.
- Schwaches Qualitätssignal der Domain: Bei Websites mit sehr vielen dünnen URLs sinkt die Indexierungsquote für die gesamte Domain.
Häufigster Denkfehler: „Gecrawlt – zurzeit nicht indexiert" ist kein technischer Fehler, den man mit einem Tag beheben kann. Es ist eine Qualitätsentscheidung. Wer darauf mit erneuten Indexierungsanfragen reagiert, statt den Inhalt oder die interne Verlinkung zu verbessern, kommt nicht weiter.
6. Der Seitenindexierungsbericht Status für Status
Der Bericht unter Indexierung → Seiten teilt alle bekannten URLs in „indexiert" und „nicht indexiert" mit Begründung. Hier die vollständige Übersicht mit der jeweils richtigen Reaktion:
| Status | Bedeutung | Handlungsbedarf |
|---|---|---|
| Serverfehler (5xx) | Server hat beim Crawl mit Fehler geantwortet | Hoch – Logs prüfen, Ursache beheben |
| Weiterleitungsfehler | Kette zu lang, Schleife oder leeres Ziel | Hoch – auf einen Hop reduzieren |
| Durch robots.txt blockiert | Crawling gesperrt | Nur wenn unbeabsichtigt |
| Mit „noindex" gekennzeichnet | Direktive greift wie vorgesehen | Nur wenn unbeabsichtigt |
| Soft 404 | Status 200, aber Inhalt wirkt wie „nicht vorhanden" | Hoch – echten 404/410 senden oder Inhalt ergänzen |
| Nicht gefunden (404) | URL existiert nicht mehr | Niedrig, wenn beabsichtigt – sonst weiterleiten |
| Aufgrund 401/403 blockiert | Zugriff verweigert | Hoch, wenn die Seite öffentlich sein soll |
| Gecrawlt – zurzeit nicht indexiert | Abgerufen, aber nicht für den Index ausgewählt | Mittel – Qualität und interne Verlinkung |
| Gefunden – zurzeit nicht indexiert | Bekannt, aber noch nicht gecrawlt | Mittel – Crawl-Budget und Priorität |
| Duplikat – ohne kanonische Auszeichnung | Google hat selbst ein Duplikat erkannt | Mittel – Canonical setzen oder differenzieren |
| Duplikat – Google hat eine andere Seite gewählt | Dein Canonical wurde ignoriert | Mittel – Signale vereinheitlichen |
| Alternative Seite mit richtigem kanonischen Tag | Alles korrekt, Signale sind gebündelt | Keiner |
| Seite mit Weiterleitung | URL leitet weiter, Ziel wird indexiert | Keiner |
| Indexiert, obwohl durch robots.txt gesperrt | URL im Index, Inhalt aber nicht lesbar | Hoch – Sperre lösen und noindex setzen |
7. „Gecrawlt – zurzeit nicht indexiert" lösen
Google hat die Seite gesehen und sich entschieden, sie nicht aufzunehmen. In dieser Reihenfolge vorgehen:
- Prüfe, ob die URL überhaupt indexiert werden soll. Bei Filter-, Paginierungs- oder
Dankeseiten ist der Status das gewünschte Ergebnis. Dann per
noindexoder Canonical bewusst dokumentieren. - Suche nach Near-Duplicates. Wenn drei Kategorieseiten sich nur im Titel unterscheiden, wählt Google eine aus. Zusammenlegen oder inhaltlich differenzieren.
- Erhöhe die interne Verlinkung. URLs, die nur über die Sitemap bekannt sind, werden selten indexiert. Verlinke sie aus thematisch passenden, gut gecrawlten Seiten.
- Reduziere die Klicktiefe. Vier Klicks von der Startseite sind in der Praxis eine sinnvolle Obergrenze für Seiten, die zuverlässig indexiert werden sollen.
- Verbessere die Substanz. Eigene Beschreibungstexte statt Herstellerangaben, beantwortete Fragen, eigene Daten. Siehe Inhalt & Lesbarkeit.
- Reduziere die Gesamtzahl dünner URLs. Das wirkt oft stärker als jede Einzelmaßnahme: Wer 200.000 dünne Filterseiten aus dem Index nimmt, verbessert die Indexierungsquote der wichtigen Seiten.
8. „Gefunden – zurzeit nicht indexiert" lösen
Hier war Googlebot noch nie auf der URL. Das ist ein Crawl-Problem, kein Qualitätsproblem:
- Serverleistung: Häufigste Ursache bei großen Websites. Prüfe die durchschnittliche Reaktionszeit in den Crawling-Statistiken.
- Zu viele URLs auf einmal: Wenn ein Deployment 500.000 neue URLs erzeugt, arbeitet Google die Warteschlange über Wochen ab. Priorisieren statt alles gleichzeitig einreichen.
- Fehlende interne Links: Sitemap-only-URLs stehen am Ende der Warteschlange.
- Erkennbar geringer Wert des Musters: Wenn 90 % der URLs eines Musters (etwa
/tag/) nie indexiert wurden, priorisiert Google neue URLs desselben Musters niedriger.
9. Duplikat-Status und Canonical-Konflikte
Wenn Google eine andere kanonische Seite wählt als du, liegt fast immer ein Signalkonflikt vor. Google
bewertet mehrere Signale gemeinsam und dein rel="canonical" ist nur eines davon:
- interne Verlinkung (welche Variante verlinkst du selbst?)
- Eintrag in der XML-Sitemap
- Weiterleitungen
hreflang-Verweise- externe Links auf die Varianten
- HTTPS gegenüber HTTP und URL-Länge als Tiebreaker
Praktische Konsequenz: Ein rel="canonical" auf Variante A, während alle internen Links und
die Sitemap auf Variante B zeigen, wird ignoriert. Vereinheitliche alle Signale, bevor du am
Canonical Tag selbst arbeitest.
10. Indexierung beschleunigen
Es gibt keinen Schalter, aber eine klare Rangfolge nach Wirksamkeit:
- Interne Verlinkung von starken Seiten: Der wirksamste und am meisten unterschätzte Hebel. Ein Link von der Startseite oder einer häufig gecrawlten Kategorieseite wirkt schneller als jede Einreichung.
- URL-Prüfung mit „Indexierung beantragen": Gut für Einzelfälle und zur Diagnose. Das Tagesbudget pro Property ist klein und Mehrfachanfragen für dieselbe URL bringen nichts.
- Sitemap mit korrektem
lastmod: Google nutzt den Wert, wenn er vertrauenswürdig ist. Bei Massenaktualisierungen auf „heute" wird er ignoriert. - Externe Links und Erwähnungen: Erhöhen die Crawl-Nachfrage nachhaltig.
- Indexing API: Nur für
JobPostingundBroadcastEventzugelassen. Für normale Inhalte ist die Nutzung nicht vorgesehen. - IndexNow: Wird von Bing und Yandex unterstützt, nicht von Google.
11. Inhalte gezielt aus dem Index entfernen
| Ziel | Richtiges Mittel | Wirkung |
|---|---|---|
| Seite bleibt online, soll aber nicht ranken | <meta name="robots" content="noindex"> |
Entfernung beim nächsten Crawl |
| Nicht-HTML-Datei (PDF, Bild) | X-Robots-Tag im HTTP-Header | Entfernung beim nächsten Crawl |
| Inhalt dauerhaft gelöscht | 410 Gone (oder 404) |
Entfernung nach wenigen Crawls |
| Sofortige Entfernung nötig | Tool zum Entfernen von URLs in der Search Console | Temporär, etwa sechs Monate |
| Inhalt darf gar nicht öffentlich sein | Serverseitige Authentifizierung | Dauerhaft und zuverlässig |
Der klassische Fehler: Eine bereits indexierte URL per robots.txt sperren, damit sie
aus dem Index verschwindet. Das Gegenteil passiert – Google kann das noindex nicht
mehr lesen und behält die URL ohne Snippet im Index. Reihenfolge: erst noindex setzen,
Entfernung abwarten, dann optional sperren.
12. Diagnose: welche Werkzeuge wirklich taugen
- URL-Prüfung: Die verlässlichste Einzelauskunft. Zeigt Canonical-Auswahl, Crawl-Zeitpunkt, gerendertes HTML und Indexierungsstatus.
- Seitenindexierungsbericht: Der einzige verlässliche Blick auf die Gesamtmenge. Wichtig: nach Muster gruppieren, nicht URL für URL abarbeiten.
- Leistungsbericht: Eine URL mit Impressionen ist definitiv indexiert. Das ist der schnellste Positivtest.
site:-Abfrage: Nur grob. Die Trefferzahl ist eine Schätzung und schwankt stark. Als Existenzprüfung einer einzelnen URL brauchbar, als Zählmethode nicht.- Cache-Ansicht: Steht nicht mehr zur Verfügung und ist kein Indexierungsnachweis mehr.
13. Checkliste bei Indexierungsproblemen
- URL-Prüfung: Ist die URL bekannt? Welche kanonische Seite hat Google gewählt?
- Statuscode prüfen – antwortet die URL mit
200? - robots.txt gegen die URL testen.
- Meta-Robots und X-Robots-Tag auf
noindexprüfen – auch im gerenderten HTML. - Canonical prüfen: zeigt er auf sich selbst oder woandershin?
- Interne Links auf die URL zählen. Null Links ist die Antwort auf die meisten Fälle.
- Klicktiefe von der Startseite messen.
- Ist die URL in der Sitemap, und ist sie dort indexierbar?
- Gerendertes HTML mit dem Quelltext vergleichen – ist der Hauptinhalt enthalten?
- Nach Near-Duplicates innerhalb der eigenen Domain suchen.
- Statusverteilung im Seitenindexierungsbericht nach URL-Muster gruppieren.
- Reaktionszeit und Fehlerquote in den Crawling-Statistiken prüfen.
- Erst danach eine Indexierung beantragen – und nur einmal.
Profi-Tipp: Rank-O-Saur zeigt dir Meta-Robots, X-Robots-Tag, Canonical und Statuscode direkt beim Besuch einer Seite. Damit klärst du in Sekunden, ob eine Seite überhaupt indexierbar ist, bevor du dich fragst, warum sie nicht indexiert wird.
14. Häufig gestellte Fragen
Wie lange dauert es, bis Google eine neue Seite indexiert?
Bei etablierten Websites mit guter interner Verlinkung meist wenige Stunden bis Tage. Bei neuen Domains oder schwach verlinkten URLs kann es Wochen dauern. Eine garantierte Frist gibt es nicht, und wiederholte Indexierungsanfragen beschleunigen den Vorgang nicht.
Was ist der Unterschied zwischen „Gecrawlt" und „Gefunden – zurzeit nicht indexiert"?
Bei „Gecrawlt" hat Googlebot die Seite abgerufen und sich gegen die Aufnahme entschieden, das ist ein Qualitätsthema. Bei „Gefunden" kennt Google die URL nur, hat sie aber noch nicht abgerufen, das ist ein Crawl-Kapazitäts- oder Prioritätsthema.
Muss jede URL meiner Website indexiert sein?
Nein, und das ist bei den meisten Websites auch nicht gewünscht. Filterkombinationen, Paginierungen, interne Suchergebnisse und Bestellbestätigungen gehören nicht in den Index. Entscheidend ist die Indexierungsquote der Seiten, die Traffic bringen sollen.
Warum ignoriert Google mein Canonical Tag?
Weil der Canonical nur ein Hinweis unter mehreren Signalen ist. Wenn interne Links, Sitemap, Weiterleitungen oder hreflang-Angaben auf eine andere Variante zeigen, entscheidet Google anhand der Mehrheit der Signale. Vereinheitliche zuerst alle Signale.
Hilft die Indexing API bei normalen Seiten?
Nein. Die Google Indexing API ist ausschließlich für JobPosting- und BroadcastEvent-Inhalte zugelassen. Für andere Seitentypen ist sie nicht vorgesehen und bringt keinen Vorteil. IndexNow wiederum wird von Bing und Yandex genutzt, nicht von Google.
Wie entferne ich eine Seite schnell aus dem Google-Index?
Setze ein noindex und beantrage danach die Entfernung über das Tool zum Entfernen von URLs in der Search Console. Das Tool wirkt schnell, aber nur temporär für etwa sechs Monate. Die dauerhafte Wirkung kommt vom noindex, einem 410 oder einer Authentifizierung.
Ist die site:-Abfrage ein verlässlicher Indexierungscheck?
Nur eingeschränkt. Die angezeigte Trefferzahl ist eine Schätzung und schwankt deutlich. Um zu prüfen, ob eine einzelne URL im Index ist, taugt sie, für belastbare Zahlen nimm den Seitenindexierungsbericht der Search Console.
Kann eine durch robots.txt gesperrte Seite im Index landen?
Ja. Wenn genügend Links auf die URL zeigen, kann Google sie indexieren, ohne den Inhalt zu kennen – erkennbar am Status „Indexiert, obwohl durch robots.txt gesperrt". Für eine Entfernung muss die URL crawlbar sein und ein noindex ausliefern.
Weiterlesen
