Warum kann das Tool nicht immer eine robots.txt per URL abrufen?

Der Validator selbst läuft vollständig in deinem Browser. Der optionale URL-Abruf versucht zuerst eine direkte Anfrage; blockiert dein Browser sie (CORS), greift er auf unseren eigenen First-Party-Proxy auf rankosaur.com zurück, der die Datei serverseitig abruft und nur vorübergehend verarbeitet, ohne sie zu speichern. Du kannst die Datei auch einfügen oder hochladen.

robots.txt Validator & Tester

Q: Wie entscheidet der robots.txt-Validator, ob eine URL blockiert ist?

Er folgt Googles Matching-Regeln: Zuerst wird die Gruppe mit dem spezifischsten (längsten) passenden User-Agent gewählt, dann gilt innerhalb dieser Gruppe die Regel mit dem längsten Pfadmuster. Sind Allow und Disallow gleich spezifisch, gewinnt Allow. Wildcards (*) und das End-Anker-Zeichen ($) werden unterstützt.

Q: Kann ich KI-Crawler wie GPTBot oder ClaudeBot testen?

Ja. Gib einen beliebigen User-Agent in das Feld ein — etwa GPTBot, ClaudeBot, Google-Extended oder CCBot — oder nutze die Schnellauswahl-Buttons, um zu sehen, ob dieser Bot erlaubt oder blockiert ist.

Prüfe in Sekunden, ob eine URL durch eine robots.txt erlaubt oder blockiert wird — für Googlebot, KI-Crawler oder einen beliebigen eigenen User-Agent. Der Validator läuft in deinem Browser; der optionale URL-Abruf greift nur dann auf unseren eigenen First-Party-Proxy zurück, wenn dein Browser ihn blockiert (CORS).

Schritt 1

robots.txt laden

Per URL abrufen

…oder Datei hochladen

…oder Regeln einfügen

Schritt 2

URL prüfen

Zu prüfende URL oder Pfad

User-Agent

So nutzt du den robots.txt-Tester

Regeln laden. Gib eine Domain ein und rufe ihre robots.txt ab, lade eine Datei hoch oder füge die Direktiven einfach in das Feld ein.
URL oder Pfad eingeben, den du prüfen möchtest, z. B. /blog/beitrag oder eine vollständige URL.
User-Agent wählen. Nutze einen Schnellauswahl-Button oder tippe einen beliebigen Crawler-Namen (z. B. GPTBot), um zu sehen, wie dieser Bot behandelt wird.

So funktioniert das robots.txt-Matching

Suchmaschinen wie Google lesen die robots.txt nicht von oben nach unten. Zuerst wählen sie die Gruppe mit dem spezifischsten User-agent, der zum Crawler passt, und wenden dann innerhalb dieser Gruppe die Regel mit dem längsten Pfadmuster an. Sind eine Allow- und eine Disallow-Regel gleich spezifisch, gewinnt Allow. Das *-Wildcard steht für eine beliebige Zeichenfolge und $ verankert das Ende der URL. Genau diese Logik bildet dieser Validator ab.

Du willst das ganze Bild? Lies unseren vollständigen Ratgeber zu robots.txt-Syntax, Pattern-Matching und dem Blockieren von KI-Crawlern.

Zum robots.txt-Ratgeber

Häufige Fragen

Wie entscheidet das Tool, ob eine URL blockiert ist?

Es folgt Googles Matching-Regeln: Die spezifischste (längste) passende User-agent-Gruppe wird gewählt, dann gewinnt die Regel mit dem längsten Pfadmuster. Bei Gleichstand zwischen Allow und Disallow gewinnt Allow. * und $ werden unterstützt.

Wie funktioniert der Abruf per URL?

Der Validator selbst läuft vollständig in deinem Browser. Der optionale Abruf versucht zuerst eine direkte Anfrage; da Browser die meisten seitenübergreifenden Anfragen (CORS) blockieren, greift er dann auf unseren eigenen First-Party-Proxy auf rankosaur.com zurück, der die Datei serverseitig abruft und nur vorübergehend verarbeitet — sie wird nicht gespeichert. Du kannst sie auch einfügen oder hochladen.

Kann ich KI-Crawler wie GPTBot oder ClaudeBot testen?

Ja. Gib einen beliebigen User-Agent ein — darunter GPTBot, ClaudeBot, Google-Extended oder CCBot — oder nutze die Schnellauswahl-Buttons, um zu prüfen, ob dieser Bot erlaubt oder blockiert ist.

Entfernt eine Disallow-Regel eine Seite aus Google?

Nein. Disallow verhindert nur das Crawlen; eine blockierte URL kann weiterhin indexiert werden, wenn sie verlinkt ist. Zum Entfernen aus dem Index nutze einen noindex-Tag — und blockiere die Seite nicht in der robots.txt, sonst kann Google den Tag nicht sehen.