Kommentare zu: robots.txt tool von Google http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/ Das Suchmaschinen Optimierung Seo Blog Tue, 06 Jan 2009 15:35:53 +0000 http://wordpress.org/?v=2.3.3 Von: Marc http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-63799 Marc Sun, 01 Apr 2007 23:35:03 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-63799 man sollte nur dran denken in der robots.txt google separat zu nennen, da hatte ich mal Probleme Seiten aus dem Index zu bekommen... man sollte nur dran denken in der robots.txt google separat zu nennen, da hatte ich mal Probleme Seiten aus dem Index zu bekommen…

]]> Von: Gerald http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-2963 Gerald Mon, 24 Apr 2006 21:08:12 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-2963 Das Robots Exclusion Protocol hat es nie zu einem RFC geschafft, die Erweiterung von 1997 ist ein Draft und wurde nie fertig gestellt. Unter http://www.robotstxt.org/wc/exclusion.html ist folgendes zu lesen: "The revised Internet-Draft specification, which is not yet completed or implemented." Da sich früher fast alle Robots nur an das Basis Protokol gehalten haben, war es lange ratsam, nur den kleinsten gemeinsamen Nenner der Robotsregeln als gegeben vorauszusetzen. Mittlerweile sind einige Suchmaschinen schlauer geworden und interpretieren die Regeln nach dem neueren Draft. Man kann aber auch heute noch nicht voraussetzen, dass z.B. Allow von allen Robots verstanden wird. Das Robots Exclusion Protocol hat es nie zu einem RFC geschafft, die Erweiterung von 1997 ist ein Draft und wurde nie fertig gestellt. Unter http://www.robotstxt.org/wc/exclusion.html ist folgendes zu lesen:
“The revised Internet-Draft specification, which is not yet completed or implemented.”

Da sich früher fast alle Robots nur an das Basis Protokol gehalten haben, war es lange ratsam, nur den kleinsten gemeinsamen Nenner der Robotsregeln als gegeben vorauszusetzen. Mittlerweile sind einige Suchmaschinen schlauer geworden und interpretieren die Regeln nach dem neueren Draft. Man kann aber auch heute noch nicht voraussetzen, dass z.B. Allow von allen Robots verstanden wird.

]]> Von: jan http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-2961 jan Mon, 24 Apr 2006 19:25:34 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-2961 mh, "Allow" ist keine Erweiterung von Google, sondern ebenso wie Wildcards auch, ganz regulärer Bestandteil des RFCs zum Ausschluß von robots: http://www.robotstxt.org/wc/norobots-rfc.html mh, “Allow” ist keine Erweiterung von Google, sondern ebenso wie Wildcards auch, ganz regulärer Bestandteil des RFCs zum Ausschluß von robots:

http://www.robotstxt.org/wc/norobots-rfc.html

]]> Von: roman libbertz http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1409 roman libbertz Wed, 15 Feb 2006 11:45:43 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1409 hört sich interessanst an werd mal checken , ob das tool greift hört sich interessanst an werd mal checken , ob das tool greift

]]> Von: fob http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1391 fob Fri, 10 Feb 2006 11:48:43 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1391 Ich habe hiermit ganz gute Erfahrungen gemacht: # ------------------------------------------- User-agent: * Disallow: User-agent: Mediapartners-Google* Disallow: User-Agent: Googlebot Disallow: # ------------------------------------------- Wenn man Dateien oder Verzeichnisse ausschließen möchte, braucht man diese ja eigentlich nur hinter "Disallow" zu schreiben. Das Ganze fix als robots.txt abspeichern und hoch damit. Braucht man dazu wirklich ein "robots.txt-Tool"? Na ja, vielleicht für die PR-Maschine. ;-) Ich habe hiermit ganz gute Erfahrungen gemacht:

# ——————————————-

User-agent: *
Disallow:

User-agent: Mediapartners-Google*
Disallow:

User-Agent: Googlebot
Disallow:

# ——————————————-

Wenn man Dateien oder Verzeichnisse ausschließen möchte, braucht man diese ja eigentlich nur hinter “Disallow” zu schreiben. Das Ganze fix als robots.txt abspeichern und hoch damit. Braucht man dazu wirklich ein “robots.txt-Tool”? Na ja, vielleicht für die PR-Maschine. ;-)

]]> Von: Spider Trap Blog » Blog Archive » Google Robots.txt Tool http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1379 Spider Trap Blog » Blog Archive » Google Robots.txt Tool Thu, 09 Feb 2006 12:47:40 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1379 [...] Gefunden bei: Suchmaschinen Optimierung Seo Blog [...] […] Gefunden bei: Suchmaschinen Optimierung Seo Blog […]

]]> Von: Cyberoog, die Insel im Web (Blog) http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1366 Cyberoog, die Insel im Web (Blog) Wed, 08 Feb 2006 15:23:25 +0000 http://www.suchmaschinen-optimierung-seo.info/sosblog/2006/02/08/robotstxt-tool-von-google/#comment-1366 <strong>Robots.txt</strong> Nach den Google-Sitemaps gibt es nun wohl auch ein robots.txt-Tool von Google. Das muss ich mir natürlich unbedingt mal angucken! robots.txt tool von Google Eines muss man Google lassen, sie bieten immer wieder interessante Tools an, die dem gestres... Robots.txt

Nach den Google-Sitemaps gibt es nun wohl auch ein robots.txt-Tool von Google. Das muss ich mir natürlich unbedingt mal angucken!
robots.txt tool von Google
Eines muss man Google lassen, sie bieten immer wieder interessante Tools an, die dem gestres…

]]>