# Roboter Info User-agent: * Disallow: /_private/ Disallow: /downloads/ Disallow: /images/ # Was ist ein "robots.txt"? # Roboter oder Spider nennt sich die Software, die Suchmaschinen benutzen, um Seiten zu # indizieren. Solche robots - sie heißen zum Beispiel "scooter", "slurp" oder # "heavymetal" - erwarten einen extra für sie geschriebenen robots.txt. Enttäuschen Sie # sie nicht! Die Datei muß im Stammverzeichnis liegen. # # Sie können wie im obigen Beispiel die Namen der willkommenen Robots angeben oder alle # einladen (*). Mit Disallow geben Sie Verzeichnisse oder Dateien an, die für den # Suchroboter verschlossen bleiben sollen. Kommentare können eingetragen werden - mit # vorangestelltem #.