Meta-Robots-Tag: noindex & nofollow erklärt
Der Meta-Robots-Tag gibt dir die Kontrolle auf Seitenebene darüber, wie Suchmaschinen deine Inhalte indexieren und an Nutzer ausliefern. Er ist eines der wichtigsten Werkzeuge im Arsenal eines SEO-Profis, um Crawl-Budget und Index-Bloat zu steuern.
1. Was ist ein Meta-Robots-Tag?
Ein Meta-Robots-Tag ist ein Stück Code, das im <head>-Bereich einer Webseite
platziert wird. Er gibt Webcrawlern (wie dem Googlebot) Anweisungen, ob diese spezielle Seite
in den Index der Suchmaschine aufgenommen werden soll und ob den Links auf dieser Seite gefolgt
werden soll.
2. HTML-Codebeispiel
Der Tag verwendet das Attribut name="robots", um alle Crawler anzusprechen. Das Attribut
content enthält die konkreten Anweisungen (Direktiven), getrennt durch Kommas.
<!DOCTYPE html>
<html>
<head>
<title>Interne Suchergebnisse</title>
<meta name="robots" content="noindex, follow">
</head>
<body>
<!-- Seiteninhalt -->
</body>
</html>Profi-Tipp: Du kannst bestimmte Bots ansprechen, indem du das name-Attribut änderst.
Zum Beispiel weist <meta name="googlebot" content="noindex"> nur Google an, die
Seite zu ignorieren, während Bing und Yahoo sie möglicherweise weiterhin indexieren.
3. Kern-Direktiven (Index vs. Follow)
Die gängigsten Werte im Meta-Robots-Tag drehen sich um Indexierung und das Folgen von Links:
index: Erlaubt der Suchmaschine, die Seite zu indexieren. (Das ist das Standardverhalten und muss daher eigentlich nicht angegeben werden.)noindex: Weist die Suchmaschine ausdrücklich an, die Seite nicht zu indexieren. Befindet sich die Seite bereits in den Suchergebnissen, wird sie beim nächsten Crawl entfernt.follow: Weist den Crawler an, den Links auf der Seite zu folgen, um neue URLs zu entdecken und Link-Equity weiterzugeben. (Auch das ist Standardverhalten.)nofollow: Weist den Crawler an, keinem Link auf dieser Seite zu folgen. (Hinweis: Um einen einzelnen, bestimmten Link mit nofollow zu versehen, verwende stattdessen das Attributrel="nofollow"direkt am<a>-Tag.)
4. Erweiterte Direktiven
Google unterstützt mehrere weitere mächtige Direktiven, um zu steuern, wie deine Such-Snippets erscheinen:
noarchive: Verhindert, dass Google einen „Im Cache"-Link in den Suchergebnissen anzeigt.nosnippet: Verhindert, dass ein Text-Snippet oder eine Videovorschau in den Suchergebnissen angezeigt wird (ein statischer Titel erscheint weiterhin).max-snippet:[number]: Legt die maximale Textlänge (in Zeichen) eines Snippets fest.max-image-preview:[setting]: Legt die maximale Größe einer Bildvorschau fest (Optionen:none,standard,large).notranslate: Weist Google an, in den Suchergebnissen keine Übersetzung dieser Seite anzubieten.
5. Meta Robots vs. robots.txt
Das ist die häufigste und gefährlichste Verwechslung im technischen SEO:
robots.txt regelt das Crawling.
Meta Robots regelt die Indexierung.
Kritische Warnung: Wenn du einer Seite einen noindex-Tag hinzufügst,
diesen URL-Pfad aber in deiner robots.txt-Datei blockierst, wird Google den
noindex-Tag niemals sehen! Der Bot ist vom Crawlen der Seite ausgeschlossen und kann den
<head> daher nicht lesen. War die Seite bereits indexiert, könnte sie als
„nur URL"-Ergebnis in den Suchergebnissen verbleiben.
Wenn dein Ziel ist, eine Seite aus Google zu entfernen, stelle sicher, dass das Crawlen der Seite in der
robots.txt erlaubt ist, damit Google den noindex-Befehl lesen
kann.
6. Häufige Fehler, die du vermeiden solltest
noindexauf paginierten Seiten verwenden: Setze keinnoindexauf Seiten wie/blog/page/2/. Das kann dazu führen, dass Google aufhört, tiefer in deine Seitenarchitektur zu crawlen, sodass neue Artikel nicht entdeckt werden.- Widersprüchliche Tags: Stelle sicher, dass du nicht mehrere Meta-Robots-Tags mit
widersprüchlichen Anweisungen hast (z. B. ein Plugin, das
indexerzeugt, und ein anderes, dasnoindexerzeugt). Google wählt in der Regel die restriktivste Option. - X-Robots-Tag-Header: Denke daran, dass Robots-Direktiven auch über den HTTP-Header
gesendet werden können (nützlich für PDFs oder Nicht-HTML-Dateien). Hat eine Seite einen
index-Meta-Tag, aber einennoindex-X-Robots-Tag im HTTP-Header, wird sie nicht indexiert.
