Meta-Robots-Tag: noindex & nofollow erklärt
Der Meta-Robots-Tag gibt dir die Kontrolle auf Seitenebene darüber, wie Suchmaschinen deine Inhalte indexieren und an Nutzer ausliefern. Er ist eines der wichtigsten Werkzeuge im Arsenal eines SEO-Profis, um Crawl-Budget und Index-Bloat zu steuern.
1. Was ist ein Meta-Robots-Tag?
Ein Meta-Robots-Tag ist ein Stück Code, das im <head>-Bereich einer Webseite
platziert wird. Er gibt Webcrawlern (wie dem Googlebot) Anweisungen, ob diese spezielle Seite
in den Index der Suchmaschine aufgenommen werden soll und ob den Links auf dieser Seite gefolgt
werden soll.
2. HTML-Codebeispiel
Der Tag verwendet das Attribut name="robots", um alle Crawler anzusprechen. Das Attribut
content enthält die konkreten Anweisungen (Direktiven), getrennt durch Kommas.
<!DOCTYPE html>
<html>
<head>
<title>Interne Suchergebnisse</title>
<meta name="robots" content="noindex, follow">
</head>
<body>
<!-- Seiteninhalt -->
</body>
</html>Profi-Tipp: Du kannst bestimmte Bots ansprechen, indem du das name-Attribut änderst.
Zum Beispiel weist <meta name="googlebot" content="noindex"> nur Google an, die
Seite zu ignorieren, während Bing und Yahoo sie möglicherweise weiterhin indexieren.
3. Kern-Direktiven (Index vs. Follow)
Die gängigsten Werte im Meta-Robots-Tag drehen sich um Indexierung und das Folgen von Links:
index: Erlaubt der Suchmaschine, die Seite zu indexieren. (Das ist das Standardverhalten und muss daher eigentlich nicht angegeben werden.)noindex: Weist die Suchmaschine ausdrücklich an, die Seite nicht zu indexieren. Befindet sich die Seite bereits in den Suchergebnissen, wird sie beim nächsten Crawl entfernt.follow: Weist den Crawler an, den Links auf der Seite zu folgen, um neue URLs zu entdecken und Link-Equity weiterzugeben. (Auch das ist Standardverhalten.)nofollow: Weist den Crawler an, keinem Link auf dieser Seite zu folgen. (Hinweis: Um einen einzelnen, bestimmten Link mit nofollow zu versehen, verwende stattdessen das Attributrel="nofollow"direkt am<a>-Tag.)
4. Erweiterte Direktiven
Google unterstützt mehrere weitere mächtige Direktiven, um zu steuern, wie deine Such-Snippets erscheinen:
noarchive: Verhindert, dass Google eine zwischengespeicherte Fassung der Seite vorhält. Den früheren „Im Cache“-Link hat Google 2024 aus den Suchergebnissen entfernt; die Direktive steuert seitdem nur noch die Archivierung selbst.nosnippet: Verhindert, dass ein Text-Snippet oder eine Videovorschau in den Suchergebnissen angezeigt wird (ein statischer Titel erscheint weiterhin).max-snippet:[number]: Legt die maximale Textlänge (in Zeichen) eines Snippets fest.max-image-preview:[setting]: Legt die maximale Größe einer Bildvorschau fest (Optionen:none,standard,large).notranslate: Weist Google an, in den Suchergebnissen keine Übersetzung dieser Seite anzubieten.
5. Meta Robots vs. robots.txt
Das ist die häufigste und gefährlichste Verwechslung im technischen SEO:
robots.txt regelt das Crawling.
Meta Robots regelt die Indexierung.
Kritische Warnung: Wenn du einer Seite einen noindex-Tag hinzufügst,
diesen URL-Pfad aber in deiner robots.txt-Datei blockierst, wird Google den
noindex-Tag niemals sehen! Der Bot ist vom Crawlen der Seite ausgeschlossen und kann den
<head> daher nicht lesen. War die Seite bereits indexiert, könnte sie als
„nur URL"-Ergebnis in den Suchergebnissen verbleiben.
Wenn dein Ziel ist, eine Seite aus Google zu entfernen, stelle sicher, dass das Crawlen der Seite in der
robots.txt erlaubt ist, damit Google den noindex-Befehl lesen
kann.
6. Häufige Fehler, die du vermeiden solltest
noindexauf paginierten Seiten verwenden: Setze keinnoindexauf Seiten wie/blog/page/2/. Das kann dazu führen, dass Google aufhört, tiefer in deine Seitenarchitektur zu crawlen, sodass neue Artikel nicht entdeckt werden.- Widersprüchliche Tags: Stelle sicher, dass du nicht mehrere Meta-Robots-Tags mit
widersprüchlichen Anweisungen hast (z. B. ein Plugin, das
indexerzeugt, und ein anderes, dasnoindexerzeugt). Google wählt in der Regel die restriktivste Option. - X-Robots-Tag-Header: Denke daran, dass Robots-Direktiven auch über den HTTP-Header
gesendet werden können (nützlich für PDFs oder Nicht-HTML-Dateien). Hat eine Seite einen
index-Meta-Tag, aber einennoindex-X-Robots-Tag im HTTP-Header, wird sie nicht indexiert.
7. Kurzreferenz: Direktiven
Direktiven werden als kommagetrennte Liste kombiniert. Widersprechen sich zwei Quellen, folgen Suchmaschinen der restriktiveren Anweisung.
| Direktive | Wirkung |
|---|---|
| index / noindex | Erlaubt oder verhindert die Aufnahme in den Index |
| follow / nofollow | Erlaubt oder verhindert, dass den Links der Seite gefolgt wird |
| noarchive | Unterdrückt die Kopie im Cache der Suchergebnisse |
| nosnippet | Unterdrückt Textausschnitt und Videovorschau |
| max-snippet:[Zahl] | Begrenzt das Snippet auf eine Höchstzahl an Zeichen |
| noimageindex | Verhindert die Indexierung der Bilder auf der Seite |
8. Häufig gestellte Fragen
Was ist der Unterschied zwischen noindex und einem Disallow in der robots.txt?
Disallow verhindert das Crawlen – Google sieht den Inhalt nie, die URL kann aber ohne Snippet in den Ergebnissen auftauchen, wenn andere Seiten darauf verlinken. Noindex hält eine Seite zuverlässig aus dem Index, wirkt aber nur, wenn die Seite gecrawlt werden darf.
Gibt noindex, follow weiterhin Linkkraft weiter?
Nur eine Zeit lang. Google hat erklärt, dass eine dauerhaft auf noindex stehende Seite irgendwann wie noindex, nofollow behandelt wird, weil eine nie indexierte Seite auch nicht mehr auf ihre Links hin gecrawlt wird. Als Linkstrategie taugt das nicht.
Wo muss das Meta-Robots-Tag stehen?
Im head-Bereich des Dokuments. Ein Robots-Meta-Tag im body wird ignoriert. Vorsicht bei JavaScript, das den Tag nachträglich einfügt – kommt er erst nach dem Rendering, kann die Anweisung übersehen werden.
Kann ich noindex in der robots.txt verwenden?
Nein. Google unterstützt die inoffizielle noindex-Anweisung in der robots.txt seit September 2019 nicht mehr. Nutze stattdessen ein Meta-Robots-Tag oder den X-Robots-Tag im HTTP-Header.
Weiterlesen
