So, jetzt wirkt sich der Schluckauf aber merklich auf die Besucherzahlen aus. Einfach unglaublich, welchen Müll Google da manchmal produziert. Vor einigen Wochen hatte ich versucht, für mein Seo Blog die ganzen üblen indizierten RSS-Feeds aus dem Google-Index zu werfen und habe da auf das NoIndex Feed Plugin gesetzt. Leider musste ich erkennen, dass die größte Seuche, nämlich die Kommentar-Feeds, überhaupt nicht von dem Plugin angegangen wurden.
Daraufhin habe ich das Plugin aufgebohrt und dafür gesorgt, dass der noindex-Eintrag auch in den Kommentar-Feeds auftauchte. Leider mit dem Erfolg, dass Google sich nicht für 5 Pfennig drum scherte dass da jetzt noindex drin stand, wahrscheinlich fühlte der Googlebot sich von dem eher für Feeds gedachten Eintrag nicht angesprochen.
Dabei Frage ich mich die ganze Zeit, warum Google an allen Fronten dem Duplicate Content an die Gurgel geht, aber die Kommentar-Feeds weiter brav indiziert und zuweilen den Original-Artikel ins Nirwana schickt. Ich verstehe das nicht, es wäre doch so leicht diese Feeds zu erkennen und draußen zu lassen. Die Feeds waren doch noch nie zum Indizieren für den Googlebot gedacht. Diesem verfressenen Vieh sollte endlich mal das Maul gestopft werden. Mit Feeds füttern gehört verboten.
Mal ein Beispiel zu der leidigen Geschichte. Bei einer Suche nach „Googel is broken“ taucht an 32. Stelle der „Google Schluckauf“ Beitrag auf:
Wir sehen also, der Beitrag wurde voll erfasst und steht mit korrekter URL im Google Index. Und jetzt die Gegenprobe, eine Google Suche nach „Google Schluckauf„:
Nichts mehr zu sehen vom Original-Artikel. Die Kommentar-Feeds beherrschen die SERPs. Überhaupt sind 30% Anteil an den indizierten Seiten für die Kommentar-Feeds einfach zu viel des Guten. Vielen Dank für den Schwachsinn. Jetzt reicht’s aber wirklich. Seit heute gibt es eine erweitere robots.txt Datei, von der ich mir eine deutliche Bereinigung der Ergebnisse erhoffe. Jetzt werden alle Feeds gewaltsam vom Googlebot ferngehalten. Ich hoffe, dass der Bot sich dran verschluckt ;-)
Eigentlich hatte ích gehofft, Google würde das Problem von alleine in den Griff bekommen. Denn leider ist das hier nicht das einzige Problem, welches Google mit Feeds und Trackbacks am Laufen hat. Was sollen die vielen Webmaster da draussen machen, die noch nicht einmal was von Duplicate Content und seinen Folgen gehört haben oder die mit dem Jonglieren von robots-txt und WordPress Plugins überfordert sind?
Dann gibts hier die Lösung
Hi Gerald,
ich hab in der robots.txt folgendes und kein Problem mit den Feeds (wahrscheinlich ist Dein Feed einfach zu stark ;-) ):
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /page/
Disallow: /date/
Disallow: /comments/
Disallow: /logs/
Disallow: /usage/
Disallow: /cgi-bin/
…
Robert, ich würde für die Feeds und Trackbacks noch die Variante ohne Backslash angeben.
„/wp-“ wird wohl auch dazu führen, dass alles unter /wp-content/ blockiert wird. In der Bildersuche wirst du somit wohl nicht mehr auftauchen, falls das dein Plan war ;-)
Das mit dem Kommentarfeeds ist wirklich nervig, aber ich habe nicht erlebt, dass sich irgendwas an meinem Rankings bei Google verbessert hat. Nur eben, dass seit ein paar Wochen keine Feeds mehr in den Ergebnissen stehen, was ja für Suchende schon mal nicht schlecht ist, die meist sowieso keine Ahnung haben was ein Feed ist …
Ein einfacher Eintrag in der robots.txt genügt.
Disallow: */feed/also irgendwie fällt mir da der spruch ein „don´t feed the troll“ ;)
Ajajaj, du bist ja boese abgestuerzt fuer ‚youporn‘ ;)
leon, jetzt wo du es sagst. worauf du so alles achtest ;-)
laut google webmaster-tools hat der bot sich jetzt die neue robots.txt geholt. dann bin ich ja mal gepannt wie’s weiter geht.
„Eigentlich hatte ích gehofft, Google würde das Problem von alleine in den Griff bekommen.“
Ich denke nicht dass Google das überhaupt als Problem ansieht. Die Kommentare sind prinzipbedingt aktueller als der Artikel selbst und die Trackbacks erzeugen sicher auch mehr Backlinks. Die Lösung sollte – wie immer – top-down angegangen werden. Also erste Anlaufstelle immer robots.txt. Wenn sie hier keine so allgemeine Regel erstellen lässt, kann man auf den Seiten mit den Meta-Tags (nofollow) weitermachen. Alles was danach kommt – nofollow-Tags in Links bzw. in den Feeds – ist als optional anzusehen. Google hat nie gesagt, dass sie den Links nicht folgen würden, sie vererben nur keinen Pagerank. Mit Rewrites würde ich allerdings nicht anfangen – in den allermeisten Fällen halten sich die Bots an die Einträge der robots.txt. In irgendeinem Post hatte ich Mißachtungen im bereich von unter 1% gesehen.
Übrigends würde ich diese Regeln in der robots.txt nicht nur für den Goolgebot setzen, sondern gleich etwas pauschaler, sonst hat man morgen die gleiche Suppe mit Yahoo & Co.
gerald: ach, hatte selber eine seite mit youporn in den top 10. naja, die ist jetzt auch irgendwo weit weit hinten :)
„Dem verfressenem Vieh das Maul stopfen“ – ich kann nicht mehr vor lachen! :-D aber du hast recht!
wenns noch drin is trotz der neuen robots kannste ja auch mal versuchen die seiten eben in den tools zu löschen
Mir erging es 1000000% ähnlich mit meinem John Chow-Artikel. Was indexiert der Futtbot? Natürlich meinen Feed. Wo steht der in den SERPs? Irgendwo bei 30.
Gestern, nach über einer Woche zähen Ringens mit der Scheißmachine/Suchmaschine wars dann endlich soweit, daß der Artikel indexiert wurde – prompt schoß er auf Platz 1.
Ich versuche schon seit Wochen, meinen Feed aus dem Index zu bugsieren. Ich ballere meine Robot.txt voll wie ein Irrer und trage alles brav in den Webmaster-Tools ein etc.
Die Hardcore-Nummer der totalen De-Indexierung mit anschließender Neuindexierung fahre ich jedoch nicht. Freiwillige vor! :D
Mal sehen, was die kommende Woche bringt – für mich und meine Nerven. ;)
Aber wir heißt es hier so schön:
http://www.existenz24.biz/gruendung/index.php/2007-07-17/das-ganze-duplicate-content-geschwafel.html
PS: Chunk URL Plugin für Gerald! ;)
Hatte auch wochen gebraucht um die feed’s aus google raus zu bekommen. Wenn die einmal drin sind, dauert es recht lange.