Kommentare zu: Googlebot und der Caching Proxy http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/04/24/googlebot-und-der-caching-proxy/ Das Suchmaschinen Optimierung Seo Blog Mon, 13 Oct 2008 14:39:42 +0000 http://wordpress.org/?v=2.3.3 Von: Crawl Caching Proxy - Webmaster & SEO Blog http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/04/24/googlebot-und-der-caching-proxy/#comment-3196 Crawl Caching Proxy - Webmaster & SEO Blog Wed, 26 Apr 2006 12:54:35 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/04/24/googlebot-und-der-caching-proxy/#comment-3196 [...] Mittwoch, 26. Apr 2006 (13:52) gsyi document.write('') Ziemlich heiß diskutiert, jetzt auch eine Post im Matt Cutts Blog. Kurz gesagt geht es darum, die Bandbreite durchs Caching mit Proxys zu sparen. Die neuen Bots gibts erst seit dem Bigdaddy Update. Ein weiterer Schritt auf dem Weg zum Intelligent Crawling… 2 x gelesen [...] […] Mittwoch, 26. Apr 2006 (13:52) gsyi document.write(”) Ziemlich heiß diskutiert, jetzt auch eine Post im Matt Cutts Blog. Kurz gesagt geht es darum, die Bandbreite durchs Caching mit Proxys zu sparen. Die neuen Bots gibts erst seit dem Bigdaddy Update. Ein weiterer Schritt auf dem Weg zum Intelligent Crawling… 2 x gelesen […]

]]> Von: Christian http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/04/24/googlebot-und-der-caching-proxy/#comment-3171 Christian Tue, 25 Apr 2006 13:43:31 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/04/24/googlebot-und-der-caching-proxy/#comment-3171 Die Sache mit den verschiedenen robots.txt finde ich sehr bedenklich. Da droht potentieller duplicate content z.B. in einem gemoddeten Forum mit Adsense, wenn man nicht ebenfalls dem adsense bot die "alten" URLs verbietet (was haeufig vergessen wird). Da Google nicht eindeutig sagt wieviel Bots "live" sind (und auf welchen UA die in der robots.txt reagieren) finde ich die Geschichte mal wieder sehr heikel. Die Idee ist gut, aber die Umsetzung meiner Meinung nach wieder sehr "Googletypisch". Naja, was solls. Harren wir der Dinge, die da kommen. Die Sache mit den verschiedenen robots.txt finde ich sehr bedenklich. Da droht potentieller duplicate content z.B. in einem gemoddeten Forum mit Adsense, wenn man nicht ebenfalls dem adsense bot die “alten” URLs verbietet (was haeufig vergessen wird).

Da Google nicht eindeutig sagt wieviel Bots “live” sind (und auf welchen UA die in der robots.txt reagieren) finde ich die Geschichte mal wieder sehr heikel. Die Idee ist gut, aber die Umsetzung meiner Meinung nach wieder sehr “Googletypisch”. Naja, was solls. Harren wir der Dinge, die da kommen.

]]>