Auf der Suche

Seiten aus Google-Index entfernen: So funktioniert es schnell und zuverlässig

  • Veröffentlicht am

Es gibt viele Gründe, wieso man bestimmte Seiten aus dem Google-Index entfernen möchte und auch etwa genauso viele Möglichkeiten es zu tun. Oder besser gesagt: es zu versuchen. Denn nicht alle Methoden funktionieren gleich gut und zuverlässig.

Die einfachste und häufigste Methode dürfte wohl ein Eintrag in der robots.txt sein. Hier kann man für Google ganz den Zugriff verbieten. Um den Google Suchroboter auszuschliessen, trägt man einfach diese Zeilen ein:

User-agent: Googlebot
Disallow: /verzeichnisname/

Beim nächsten Besuch bekommt Google also das Signal, dieses Verzeichnis auf dem Webserver nicht mehr zu crawlen. Das wird auch funktionieren, allerdings gibt es da noch zwei Fallstricke:

1) Google hat mehrere Suchroboter, die alle anders heissen. Man müsste den Eintrag für alle erstellen und darf keinen vergessen. Ebenso Bing, Yahoo und jede kleine Suchmaschine. Setzt man

User-agent: *

sollten sich alle Bots an das crawlverbot halten. Theorethisch, denn oft empfindet der ein oder andere Bot ein generelles Signal nur als Empfehlung, das kommt unserer Erfahrung nach immer wieder vor.

2) Hält sich der Bot an die Anweisung, crawlt er das Verzeichnis nicht mehr. Das bedeutet aber nicht unbedingt, dass die Seiten darin auch unmittelbar aus dem Index verschwinden. Es kommen nur ganz sicher keine neuen mehr hinzu. Was bereits gecrawlt und im Index ist, kann noch wochenlang in den Suchergebnissen auftauchen.

Noindex statt Robots.txt

Die sicherste Variante um unerwünschte Seiten aus dem Google-Index zu befördern ist deswegen der Befehl “noindex”, den man als Meta-Tag auf jeder Seite ausweisen kann. Dieses Tag sollte so aussehen:

Der bestechende Vorteil gegenüber der Variante in der robots.txt ist: Beim nächsten Besuch der Seite bekommt Google einen direkten Auslistungsbefehl und wird die Seite sofort aus dem Index löschen.

Übrigens rät John Mueller von Google dazu, dass man sich vor einem überschnellen “noindex”-Befehl zunächst fragt, ob man die Seiten wirklich los werden will, oder ob es nicht Sinn ergeben würde, die Inhalte zu verbessern. So würden die Seiten nicht aus dem Google-Index verschwinden müssen und man könnte zu relevanten Keywords ranken. Denn eigentlich sollte jede funktionierende Seite im Index eine gute Seite für’s eigene Geschäft sein.

Why would you need to unindex them? If they’re ranking for queries you care about, you should improve your other pages. If they’re not ranking, then ignore them. (Also, to unindex, don’t block with robots.txt, use noindex instead.)

John Mueller

Hier der entsprechende Tweet dazu:

Bildquellen

  • Auf der Suche: Free-Photos auf Pixabay
SHARE