Herr T. wollte ein Projekt überarbeiten und hatte zu diesem Zweck auf einem speziellen Testserver die neue Software installiert und ausgetestet. Um sicher zu gehen, dass nichts davon vorzeitig in den Suchmaschinen auftauchte, wurde eine entsprechend restriktive robots.txt Datei auf dem Server abgelegt.
So weit, so gut. Alles lief prächtig und eines Tages war das neue Projekt reif für den Live-Betrieb. Herr T. kopierte die Daten des Testservers auf den Live-Server und freute sich über den gelungenen Seitenwechsel. Und jetzt die Masterfrage:
Er hat vergessen, die robots.txt zu entfernen? :o)
Wieso machte er das überhaupt mit einer robots.txt und nicht mit einer .htaccess (Passwortschutz)?
Hi. Ich vermute das gleiche. Hat er vielleicht vergessen die robots.txt zu verändern?
also ich tippe eher auf die robot.txt vor dem kopieren gelöscht und die daten auf dem testserver liegen lassen…
Oh man. Das kann einen wohl fertig machen. Aber kommt ja wieder…
Ich denke er hat vergessen, dass es dem guten Googlebot oft reichlich wurscht is, was in der robots.txt so drin steht
Ich hatte das Glück noch nicht kenne aber einige den das schon passiert ist…
Meistens ist es jedoch gar nicht schlecht da die Webmaster durch 0 Traffic und Panic geraten und aus langweile anfangen viele Backlinks zu besorgen. Nach 3 Monaten stehen die meistens sehr gut da.
Also ich frage mich, wieso er so naiv war und auf die robots.txt gehofft hat?
Wieso nicht gleich die Bots hart draussen halten? Ansonsten heilt Zeit alle Wunden, also kommen die Bots schon noch und indexieren alles fleissig ;)