Füttern verboten - Feeds jetzt draussen
So, jetzt wirkt sich der Schluckauf aber merklich auf die Besucherzahlen aus. Einfach unglaublich, welchen Müll Google da manchmal produziert. Vor einigen Wochen hatte ich versucht, für mein Seo Blog die ganzen üblen indizierten RSS-Feeds aus dem Google-Index zu werfen und habe da auf das NoIndex Feed Plugin gesetzt. Leider musste ich erkennen, dass die größte Seuche, nämlich die Kommentar-Feeds, überhaupt nicht von dem Plugin angegangen wurden.
Daraufhin habe ich das Plugin aufgebohrt und dafür gesorgt, dass der noindex-Eintrag auch in den Kommentar-Feeds auftauchte. Leider mit dem Erfolg, dass Google sich nicht für 5 Pfennig drum scherte dass da jetzt noindex drin stand, wahrscheinlich fühlte der Googlebot sich von dem eher für Feeds gedachten Eintrag nicht angesprochen.
Dabei Frage ich mich die ganze Zeit, warum Google an allen Fronten dem Duplicate Content an die Gurgel geht, aber die Kommentar-Feeds weiter brav indiziert und zuweilen den Original-Artikel ins Nirwana schickt. Ich verstehe das nicht, es wäre doch so leicht diese Feeds zu erkennen und draußen zu lassen. Die Feeds waren doch noch nie zum Indizieren für den Googlebot gedacht. Diesem verfressenen Vieh sollte endlich mal das Maul gestopft werden. Mit Feeds füttern gehört verboten.
Mal ein Beispiel zu der leidigen Geschichte. Bei einer Suche nach “Googel is broken” taucht an 32. Stelle der “Google Schluckauf” Beitrag auf:
Wir sehen also, der Beitrag wurde voll erfasst und steht mit korrekter URL im Google Index. Und jetzt die Gegenprobe, eine Google Suche nach “Google Schluckauf“:
Nichts mehr zu sehen vom Original-Artikel. Die Kommentar-Feeds beherrschen die SERPs. Überhaupt sind 30% Anteil an den indizierten Seiten für die Kommentar-Feeds einfach zu viel des Guten. Vielen Dank für den Schwachsinn. Jetzt reicht’s aber wirklich. Seit heute gibt es eine erweitere robots.txt Datei, von der ich mir eine deutliche Bereinigung der Ergebnisse erhoffe. Jetzt werden alle Feeds gewaltsam vom Googlebot ferngehalten. Ich hoffe, dass der Bot sich dran verschluckt ;-)
Eigentlich hatte ích gehofft, Google würde das Problem von alleine in den Griff bekommen. Denn leider ist das hier nicht das einzige Problem, welches Google mit Feeds und Trackbacks am Laufen hat. Was sollen die vielen Webmaster da draussen machen, die noch nicht einmal was von Duplicate Content und seinen Folgen gehört haben oder die mit dem Jonglieren von robots-txt und WordPress Plugins überfordert sind?
16. Juli 2007 
Kommentar | 16. Juli 2007 um 20:47 | individueller Kommentarlink
Dann gibts hier die Lösung
Kommentar | 16. Juli 2007 um 23:48 | individueller Kommentarlink
Hi Gerald,
ich hab in der robots.txt folgendes und kein Problem mit den Feeds (wahrscheinlich ist Dein Feed einfach zu stark ;-) ):
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/
Disallow: /rss/
Disallow: /page/
Disallow: /date/
Disallow: /comments/
Disallow: /logs/
Disallow: /usage/
Disallow: /cgi-bin/
…
Kommentar | 17. Juli 2007 um 00:14 | individueller Kommentarlink
Robert, ich würde für die Feeds und Trackbacks noch die Variante ohne Backslash angeben.
“/wp-” wird wohl auch dazu führen, dass alles unter /wp-content/ blockiert wird. In der Bildersuche wirst du somit wohl nicht mehr auftauchen, falls das dein Plan war ;-)
Das mit dem Kommentarfeeds ist wirklich nervig, aber ich habe nicht erlebt, dass sich irgendwas an meinem Rankings bei Google verbessert hat. Nur eben, dass seit ein paar Wochen keine Feeds mehr in den Ergebnissen stehen, was ja für Suchende schon mal nicht schlecht ist, die meist sowieso keine Ahnung haben was ein Feed ist …
Kommentar | 17. Juli 2007 um 09:16 | individueller Kommentarlink
Ein einfacher Eintrag in der robots.txt genügt.
Disallow: */feed/Kommentar | 17. Juli 2007 um 09:24 | individueller Kommentarlink
also irgendwie fällt mir da der spruch ein “don´t feed the troll” ;)
Pingback | 17. Juli 2007 um 10:39 | individueller Pingbacklink
[…] Ein sehr gutes Beispiel was passiert wenn der eigene Feed, bzw. die diversen Kommentar-Feeds, in den Google Index rutschen gibt es bei Gerald. […]
Kommentar | 17. Juli 2007 um 11:26 | individueller Kommentarlink
Ajajaj, du bist ja boese abgestuerzt fuer ‘youporn’ ;)
Kommentar | 17. Juli 2007 um 13:03 | individueller Kommentarlink
leon, jetzt wo du es sagst. worauf du so alles achtest ;-)
Kommentar | 17. Juli 2007 um 13:41 | individueller Kommentarlink
laut google webmaster-tools hat der bot sich jetzt die neue robots.txt geholt. dann bin ich ja mal gepannt wie’s weiter geht.
Kommentar | 17. Juli 2007 um 20:15 | individueller Kommentarlink
“Eigentlich hatte ích gehofft, Google würde das Problem von alleine in den Griff bekommen.”
Ich denke nicht dass Google das überhaupt als Problem ansieht. Die Kommentare sind prinzipbedingt aktueller als der Artikel selbst und die Trackbacks erzeugen sicher auch mehr Backlinks. Die Lösung sollte - wie immer - top-down angegangen werden. Also erste Anlaufstelle immer robots.txt. Wenn sie hier keine so allgemeine Regel erstellen lässt, kann man auf den Seiten mit den Meta-Tags (nofollow) weitermachen. Alles was danach kommt - nofollow-Tags in Links bzw. in den Feeds - ist als optional anzusehen. Google hat nie gesagt, dass sie den Links nicht folgen würden, sie vererben nur keinen Pagerank. Mit Rewrites würde ich allerdings nicht anfangen - in den allermeisten Fällen halten sich die Bots an die Einträge der robots.txt. In irgendeinem Post hatte ich Mißachtungen im bereich von unter 1% gesehen.
Übrigends würde ich diese Regeln in der robots.txt nicht nur für den Goolgebot setzen, sondern gleich etwas pauschaler, sonst hat man morgen die gleiche Suppe mit Yahoo & Co.
Kommentar | 17. Juli 2007 um 23:58 | individueller Kommentarlink
gerald: ach, hatte selber eine seite mit youporn in den top 10. naja, die ist jetzt auch irgendwo weit weit hinten :)
Kommentar | 18. Juli 2007 um 12:24 | individueller Kommentarlink
“Dem verfressenem Vieh das Maul stopfen” - ich kann nicht mehr vor lachen! :-D aber du hast recht!
Kommentar | 18. Juli 2007 um 21:16 | individueller Kommentarlink
wenns noch drin is trotz der neuen robots kannste ja auch mal versuchen die seiten eben in den tools zu löschen
Kommentar | 18. Juli 2007 um 21:47 | individueller Kommentarlink
Mir erging es 1000000% ähnlich mit meinem John Chow-Artikel. Was indexiert der Futtbot? Natürlich meinen Feed. Wo steht der in den SERPs? Irgendwo bei 30.
Gestern, nach über einer Woche zähen Ringens mit der Scheißmachine/Suchmaschine wars dann endlich soweit, daß der Artikel indexiert wurde - prompt schoß er auf Platz 1.
Ich versuche schon seit Wochen, meinen Feed aus dem Index zu bugsieren. Ich ballere meine Robot.txt voll wie ein Irrer und trage alles brav in den Webmaster-Tools ein etc.
Die Hardcore-Nummer der totalen De-Indexierung mit anschließender Neuindexierung fahre ich jedoch nicht. Freiwillige vor! :D
Mal sehen, was die kommende Woche bringt - für mich und meine Nerven. ;)
Aber wir heißt es hier so schön:
http://www.existenz24.biz/gruendung/index.php/2007-07-17/das-ganze-duplicate-content-geschwafel.html
Kommentar | 18. Juli 2007 um 21:48 | individueller Kommentarlink
PS: Chunk URL Plugin für Gerald! ;)
Pingback | 20. Juli 2007 um 16:11 | individueller Pingbacklink
[…] Ich habe gerade erst bei Gerald vom S-O-S SEO Blog gelesen, dass er das übliche Problem hat und mich deshalb spontan dazu entschlossen auch mal meine robots.txt-experimentier-Ergebnisse in diesem Beitrag zu veröffentlichen. […]
Kommentar | 23. Juli 2007 um 11:49 | individueller Kommentarlink
Hatte auch wochen gebraucht um die feed’s aus google raus zu bekommen. Wenn die einmal drin sind, dauert es recht lange.
Pingback | 26. Juli 2007 um 14:33 | individueller Pingbacklink
[…] Dieser kleine Vorfall zeigt einmal mehr, welche Auswirkungen so ein Google Schluckauf auf das Web hat. Da Google noch den Einstieg ins Mobilfunknetz plant wird es interessant sein zu beobachten ob im Handynetz in Zukunft die gleichen Probleme mit Google auf uns zu kommen. […]
Pingback | 23. Dezember 2007 um 09:53 | individueller Pingbacklink
[…] Ihr nicht viel mit anfangen ? Zur Erläuterung der bisherigen Problematik empfehle ich das Fütterungsverbot bei Gerald und meine Spiele mit der […]