Der Ablauf ist naheliegend und deshalb verbreitet: Eine Seite soll aus dem Index. Man setzt noindex und sperrt sie zur Sicherheit in der robots.txt. Doppelt hält besser.
Es hält gar nicht.
Warum sich beides gegenseitig aufhebt
Die beiden Anweisungen greifen an verschiedenen Stellen an:
- Liegt im Wurzelverzeichnis der Domain
- Wird vor dem Abruf gelesen
- Regelt, ob abgerufen wird
- Sagt nichts über den Index
- Steht auf der Seite selbst oder im Antwortkopf
- Wird beim Abruf gelesen
- Regelt, ob indexiert wird
- Setzt voraus, dass abgerufen werden darf
Ist die Adresse gesperrt, findet kein Abruf statt. Findet kein Abruf statt, wird die Seite nicht gelesen. Wird sie nicht gelesen, sieht niemand das noindex. Die Anweisung ist da und wirkt nie.
Was man stattdessen sieht
Die Seite bleibt im Index – sie kann dort sogar auftauchen, ohne je abgerufen worden zu sein, weil eingehende Verweise ihre Existenz belegen. Angezeigt wird sie dann ohne Beschreibungstext, oft mit einem Hinweis darauf, dass keine Informationen verfügbar sind.
Das ist der schlechteste aller Zustände: sichtbar, aber inhaltslos.
Die Entscheidung
- Soll die Seite aus dem Index?
Dann noindex setzen und den Abruf erlauben. Kein Eintrag in der robots.txt. Die Sperre kann wieder gesetzt werden, wenn die Seite verschwunden ist – nötig ist sie dann meist nicht mehr.
- Soll der Abruf unterbleiben?
Dann robots.txt – aber ohne Erwartung an den Index. Sinnvoll bei Bereichen, deren Abruf Last erzeugt und deren Inhalt ohnehin niemanden interessiert: Suchergebnisseiten, Filterkombinationen, Warenkörbe.
- Ist die Seite bereits gesperrt und soll weg?
Erst die Sperre entfernen, dann noindex setzen, dann den Abruf anstoßen. In dieser Reihenfolge. Wer die Sperre bestehen lässt, wartet vergeblich.
Der verwandte Fehler
Dieselbe Denkweise trifft den Canonical-Verweis: Wird die Zieladresse gesperrt, kann sie nicht ausgewertet werden, und der Verweis bleibt wirkungslos. Ebenso bei Weiterleitungen – eine gesperrte Adresse wird nicht abgerufen, die Weiterleitung darauf also nie gesehen.
Und was die robots.txt nicht ist
Sie ist kein Zugriffsschutz. Die Datei liegt öffentlich unter /robots.txt und nennt jedem, der nachsieht, genau die Pfade, die man verbergen wollte. Sie ist eine Bitte an Abrufer, die sich daran halten – und die, vor denen man etwas verbergen möchte, tun das nicht.
Vertrauliches gehört hinter eine Anmeldung.