X-Robots-Tag: Indexierung von Dateien steuern
Der X-Robots-Tag ist ein HTTP-Header, mit dem du steuerst, wie Suchmaschinen deine Dateien indexieren und ausliefern. Während der klassische Meta Robots Tag strikt auf HTML-Dokumente beschränkt ist, erlaubt dir der X-Robots-Tag, SEO-Regeln auf jeden Dateityp anzuwenden, einschließlich PDFs, Bildern und Videos.
1. Was ist der X-Robots-Tag?
Anders als HTML-Tags, die im Quellcode einer Webseite stehen, wird der X-Robots-Tag als Teil des HTTP-Response-Headers von deinem Webserver gesendet. Wenn eine Suchmaschine eine Datei anfordert, antwortet dein Server mit Headern (wie Statuscode und Content-Type), bevor er die eigentliche Datei ausliefert. Der X-Robots-Tag ist Teil dieser unsichtbaren Kommunikation.
2. Meta Robots vs. X-Robots-Tag
Warum den X-Robots-Tag verwenden, wenn du bereits den Meta Robots Tag hast?
- Nicht-HTML-Dateien: Du kannst keinen
<meta>-Tag in ein PDF-Dokument, ein MP4-Video oder ein PNG-Bild einfügen. Wenn du verhindern willst, dass Google ein sensibles PDF indexiert, ist der X-Robots-Tag deine einzige zuverlässige Methode. - Globale Regeln: Du kannst deinen Server so konfigurieren, dass der X-Robots-Tag auf ein ganzes Verzeichnis oder die gesamte Website gleichzeitig angewendet wird, was oft schneller ist, als das HTML tausender Seiten einzeln zu bearbeiten.
3. Code-Beispiele (Apache & Nginx)
Um den X-Robots-Tag zu implementieren, musst du deine Serverkonfigurationsdateien anpassen.
Apache (.htaccess)
Um zu verhindern, dass Suchmaschinen PDF-Dateien auf deiner Website indexieren, fügst du dies deiner
.htaccess-Datei hinzu:
<FilesMatch "\.(pdf)$">
Header set X-Robots-Tag "noindex, noarchive"
</FilesMatch>Nginx (nginx.conf)
Bei einem Nginx-Server fügst du Folgendes zum Konfigurationsblock deiner Website hinzu:
location ~* \.pdf$ {
add_header X-Robots-Tag "noindex, noarchive";
}4. Zentrale Direktiven
Der X-Robots-Tag akzeptiert exakt dieselben Direktiven wie der Meta Robots Tag:
noindex: Diese Datei nicht in den Suchergebnissen indexieren.nofollow: Keinen der in dieser Datei enthaltenen Links verfolgen (z. B. Links in einem PDF).noarchive: Keinen „Im Cache"-Link in den Suchergebnissen anzeigen.nosnippet: Kein Text-Snippet in den Suchergebnissen für diese Datei anzeigen.
Bestimmte Bots ansprechen: Du kannst auch bestimmte Crawler ansprechen, indem du ihren Namen vor die Direktive setzt.
Header set X-Robots-Tag "googlebot: noarchive"
Header set X-Robots-Tag "bingbot: noindex"5. So prüfst du den X-Robots-Tag
Da HTTP-Header auf der eigentlichen Seite unsichtbar sind, lassen sie sich schwer entdecken. Es gibt zwei Hauptwege, sie zu prüfen:
- Browser-DevTools: Rechtsklick auf die Seite > Untersuchen > Tab „Netzwerk". Lade die Seite neu, klicke auf die Datei, die du untersuchen willst, und schau im Abschnitt „Response Headers" nach.
- Rank-O-Saur: Die einfachste Methode! Rank-O-Saur fängt HTTP-Header automatisch ab. Wenn ein X-Robots-Tag vorhanden ist und die Indexierung blockiert, warnt dich das Erweiterungssymbol sofort, und die Details sind im Tab „Übersicht" sichtbar.
6. Häufige Fehler, die du vermeiden solltest
Die robots.txt-Falle: Genau wie beim Meta Robots Tag gilt: Wenn du eine Datei in
deiner
robots.txt blockierst, werden Suchmaschinen deinen X-Robots-Tag nie sehen!
Weil sie die URL nicht crawlen dürfen, fordern sie den Header nie an. Wenn du eine Datei
deindexieren willst, stelle sicher, dass sie in der robots.txt nicht blockiert ist.
- Widersprüchliche Signale: Wenn du sowohl einen Meta Robots Tag (
index) im HTML als auch einen X-Robots-Tag (noindex) im Header verwendest, befolgen Suchmaschinen in der Regel die restriktivste Direktive (in diesem Fallnoindex). - Syntaxfehler: Eine vertippte Serverkonfigurationsdatei kann deine gesamte
Website mit einem 500 Internal Server Error lahmlegen. Sichere immer deine
.htaccessodernginx.conf, bevor du Änderungen vornimmst.
