Der Eintrag „noindex“ im Quelltext einer Website fordert Suchmaschinen auf, die betreffende Seite nicht in den Index aufzunehmen. So lässt sich die Indexierung von URLs verhindern. Das ist z. B. in der Suchmaschinenoptimierung (SEO) wichtig, um Duplicate Content zu vermeiden.
Wann ist der Befehl sinnvoll?
Es gibt mehrere Anwendungsfälle für den Noindex-Befehl:
- Auf einer Webseite existieren doppelte Inhalte. noindex kann eine Möglichkeit sein, sie aus dem Index zu halten – häufig ist für Duplicate Content aber der Canonical Tag das passendere Mittel.
- Eine Seite wird überarbeitet. Mit noindex können Webmaster in Ruhe an neuen Seiten arbeiten, bevor diese indexiert werden. Der Befehl muss rechtzeitig wieder entfernt werden, sonst bleibt die Seite dauerhaft unauffindbar.
- Urheberrechte sollen geschützt werden.
Merke:
Es gibt keine generelle Duplicate-Content-Strafe. Google „bestraft“ normalen Duplicate Content nicht, sondern filtert bzw. konsolidiert die Duplikate und wählt selbst eine kanonische Version aus; eine manuelle Maßnahme greift nur bei manipulativem Duplizieren. Für doppelte Inhalte ist meist der Canonical-Tag das Mittel der Wahl, nicht noindex.
Der Befehl verhindert nur die Aufnahme in den Index, nicht aber das Crawlen selbst. Das ist ein wesentlicher Unterschied zur Verwendung von robots.txt-Dateien.
So wird Noindex angewendet
Für die Verwendung stehen zwei Möglichkeiten zur Verfügung.
1. Durch einen Meta-Tag im Head des Quelltextes. Soll der allgemeine Googlebot vom Indexieren abgehalten werden:
<meta name="googlebot" content="noindex">Genauso funktioniert die Verwendung für andere Crawler. Um sämtliche Suchmaschinen anzusprechen, verwenden Webmaster
< meta name="robots" content="noindex" >Google setzt verschiedene Bots ein; eine Übersicht dazu finden Website-Betreiber in der Google-Hilfe.
2. Über den HTTP-Response-Header (X-Robots-Tag). Auch so lassen sich verschiedene Crawler von der Indexierung abbringen. Das Ergebnis ist in beiden Fällen dasselbe; ausschlaggebend ist, welche Variante praktischer ist.
Eine Alternative zum Meta-Tag ist der X-Robots-Tag: Über den HTTP-Header lässt sich noindex (und z. B. nofollow) auch für Nicht-HTML-Dateien wie PDFs, Bilder oder Videos setzen – etwas, das der Meta-Tag im <head> nicht kann.
Überprüfen lässt sich der Noindex-Befehl am zuverlässigsten über die URL-Prüfung in der Google Search Console (bzw. die Kontrolle von HTTP-Header/Quelltext); die site:-Abfrage liefert nur einen groben Anhaltspunkt.
Mit der URL-Prüfung in der Google Search Console lässt sich zuverlässig kontrollieren, ob eine Seite indexiert ist und ob das noindex korrekt erkannt wird – genauer als die site:-Abfrage.
Noindex,follow VS. Noindex,nofollow
Der Befehl Noindex kann durch „follow“ bzw. „nofollow“ ergänzt werden:
<meta name="robots" content="noindex,follow">signalisiert dem Crawler, die Seite nicht zu indexieren, aber den Links darauf zu folgen. Das bietet sich z. B. bei internen Such-Ergebnisseiten oder paginierten Kategorie-Seiten an, deren Produkte indexiert werden sollen.
Hinweis zur Langzeitwirkung: Google behandelt eine dauerhaft auf „noindex“ gesetzte Seite mit der Zeit faktisch wie „noindex,nofollow“ – die Links auf der Seite werden langfristig nicht mehr verfolgt. Für paginierte Seiten oder interne Such-Ergebnisse sind daher saubere interne Verlinkung bzw. Canonical-Tags oft die nachhaltigere Lösung.
<meta name="robots" content="noindex,nofollow">findet wenig Verwendung und weist Crawler an, den Links auf der Seite nicht zu folgen. Wichtig: „nofollow“ verhindert kein Crawling – das Attribut weist den Crawler nur an, den Links nicht zu folgen; die Seite selbst wird weiterhin gecrawlt. Das Crawlen einer Seite unterbindet man ausschließlich über „Disallow“ in der robots.txt.
Noindex oder robots.txt: Wann passt was?
Neben noindex lassen sich Crawler über robots.txt-Dateien vom Crawlen abhalten. Allerdings kann die Seite trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten darauf verlinken. Google rät, robots.txt nur zu verwenden, um:
- den Crawling-Traffic zu regulieren
- zu verhindern, dass Bild-, Video- oder Audiodateien in den SERPs erscheinen
- wenig wichtige Ressourcendateien zu blockieren
Ein häufiger Konflikt ist die Kombination aus noindex und Disallow: Ist eine Seite per Disallow in der robots.txt für den Crawler gesperrt, kann dieser das noindex auf der Seite gar nicht lesen. Über Backlinks kann die Seite dann trotzdem im Index landen (GSC-Status „Indexiert, obwohl durch robots.txt blockiert“). noindex wirkt nur, wenn die Seite crawlbar bleibt.
Außerdem: noindex in der robots.txt wird seit dem 1. September 2019 nicht mehr unterstützt. Google hat die inoffizielle noindex-Direktive in der robots.txt zu diesem Datum abgeschaltet. noindex gehört seitdem in den Meta-Tag oder den X-Robots-Tag, nicht in die robots.txt.
Quellen
- Google, Aufnahme in den Suchindex mithilfe von noindex blockieren, https://developers.google.com/search/docs/crawling-indexing/block-indexing?hl=de
